Modèle · Disponible

Plume

Un modèle de langage qui tourne en moins de 128 Mo de RAM, sur un processeur ordinaire.

Sans GPU. Le débit est mesuré sur une réponse courte, sans mode réflexion.

Positionnement

Plume est un petit modèle de langage conçu pour tourner sans carte graphique ni centre de calcul. Il raisonne à voix haute quand on le lui demande, appelle des outils et s’intègre à une application par une API HTTP.

Il s’adresse aux développeurs et aux éditeurs qui veulent une IA conversationnelle embarquée, sur place, sans que les données sortent.

Fonctionnement

Ce qu’il fait

Votre besoin est proche, mais différent ?

Si Plume ne couvre pas tout à fait votre cas, un développement sur mesure ou un autre de nos modèles le fera peut-être.