Dot Loom

Dot Loom est un environnement d’exécution d’orchestration open source qui optimise l’inférence IA en répartissant dynamiquement les requêtes entre plusieurs modèles. Au lieu d’imposer un coût fixe par requête, il adapte la profondeur de calcul à la difficulté de la tâche grâce à des politiques de décision entraînées.

Points forts

• Politiques d’exécution adaptatives allant de 1 à 4 appels de modèles avec les pipelines Lean, Balanced, Strict ou Fixed
• Architecture indépendante des fournisseurs, compatible avec OpenAI, Claude, Dot API, Ollama et les points de terminaison personnalisés
• Contrôles budgétaires intégrés avec des plafonds stricts sur les appels, les crédits et la latence
• Suivi des coûts et observabilité grâce à des rapports d’exécution détaillés et au comptage des jetons
• Modèle de coordination Ministral entraîné pour prendre des décisions de routage intelligentes

Conçu pour les développeurs et les équipes IA qui créent des systèmes d’inférence attentifs aux coûts, Dot Loom réduit les appels d’API inutiles tout en préservant la qualité. L’environnement d’exécution est en phase alpha et convient aux expérimentations, aux démonstrations et aux architectures de production nécessitant une sélection dynamique des modèles. Son approche adaptative est utile à toute personne qui exploite plusieurs modèles ou cherche à optimiser les coûts des LLM.