Documentation
Chaque modèle se lance en une commande et se pilote par HTTP et JSON. Pas de SDK à installer, pas de service distant.
Principe
Un exécutable par modèle : il sert une interface web sur votre machine, une API et une ligne de commande. Il télécharge et vérifie le modèle.
JSON en entrée, JSON en sortie, et un flux SSE pour les modèles qui génèrent. N’importe quel client HTTP convient, dans n’importe quel langage.
Pour embarquer un modèle dans votre produit ou sur un appareil précis, nous le faisons avec vous, contraintes de mémoire comprises.
Démarrer
Les commandes ci-dessous sont celles de l’application locale. Remplacez « plume » par « aludra », « krito », « nashira », « iris » ou « castor ».
Bon à savoir
L’inférence tourne sur votre machine. Aucun texte, code ou image n’est envoyé à un service tiers.
L’API écoute sur 127.0.0.1 et exige un jeton, affiché au démarrage. Une page web tierce ne peut pas la piloter.
Pour garder la mémoire sous contrôle, un modèle traite une requête à la fois par instance.
Le programme repère lui-même une nouvelle version du programme et du modèle. Il n’installe rien tout seul.
Gratuite, pour un usage non commercial. L’API reste en local sur la machine.
Pour un usage commercial, avec activation par installation. Écrivez-nous pour les conditions.
Choisir selon sa machine
Les valeurs mesurées sont la mémoire utilisée pendant l’inférence, sur du matériel ordinaire. Prévoyez de la marge pour votre système et vos autres programmes.
Processeur x86-64 ou ARM64, sans carte graphique. Les mesures ne couvrent pas la qualité des réponses.
Dites-nous quel modèle et quelle machine. Nous vous indiquons l’édition qui convient et comment l’obtenir.