Manifeste · IA frugale
Une IA utile n’a pas besoin d’une machine de guerre. Elle a besoin d’être bien conçue, bien mesurée, et exécutable par n’importe qui.
Le constat
L’IA générative d’aujourd’hui s’est construite sur la démesure : du matériel de plus en plus spécialisé, de l’énergie en quantité, des volumes de données toujours plus grands. Cette trajectoire réserve l’IA à ceux qui peuvent la payer.
Elle crée aussi une dépendance. Pour utiliser un modèle, il faut louer l’accès à celui d’un autre, lui envoyer ses données et accepter ses conditions.
Nous pensons qu’une autre voie existe, et que c’est une voie d’ingénierie, pas de renoncement : comme l’informatique est passée de la salle machine au téléphone, les modèles peuvent être miniaturisés.
Nos engagements
On fixe d’abord ce que le modèle a le droit de consommer : mémoire, disque, temps de réponse. Le modèle doit ensuite tenir dedans, pas l’inverse.
Aucun de nos modèles ne demande de carte graphique. Ils visent le matériel que les gens possèdent déjà, y compris ancien.
Un modèle qui tourne sur votre machine n’a rien à envoyer. C’est aussi la manière la plus simple de respecter la confidentialité.
Chaque chiffre vient d’une mesure datée, avec la machine utilisée. Un objectif est présenté comme un objectif, jamais comme un résultat.
Moins de matériel requis, c’est un accès moins cher. L’IA ne devrait pas dépendre d’un budget d’infrastructure.
Mesures
Mémoire au pic pendant l’inférence, mémoire au repos modèle chargé, taille des fichiers du modèle, et vitesse sur la tâche propre à chaque modèle. Les machines diffèrent d’un modèle à l’autre : elles sont indiquées.
Castor : objectif de 8 Mo de RAM, rien n’est encore mesuré. La consommation électrique n’est pas encore mesurée ; nous la publierons quand elle le sera.
Ce que nous ne prétendons pas
Un petit modèle n’égale pas un très grand modèle sur toutes les tâches, et nous ne le prétendons pas. Les nôtres sont spécialisés : une tâche, un budget, une mesure.
Nashira et Iris sont encore en progression, et leurs fiches le disent. Nous préférons publier un état honnête qu’une promesse.
Notre ambition
Des modèles qui tournent sur les machines de n’importe quel utilisateur. Un catalogue qui s’élargit, la traduction avec Castor d’abord. Des mesures publiques, pour que la sobriété se vérifie au lieu de se déclarer.
Dites-nous sur quelle machine l’IA doit tourner. Nous vous dirons honnêtement si un de nos modèles y tient.