Dot Loom

Dot Loom è un runtime di orchestrazione open source che ottimizza l'inferenza AI instradando in modo adattivo le richieste tra più modelli. Invece di sostenere un costo fisso per ogni richiesta, regola la profondità di elaborazione in base alla difficoltà dell'attività mediante politiche decisionali addestrate.

Funzionalità principali

• Politiche di esecuzione adattive da 1 a 4 chiamate ai modelli, con pipeline Lean, Balanced, Strict o Fixed
• Architettura indipendente dal provider, compatibile con OpenAI, Claude, Dot API, Ollama ed endpoint personalizzati
• Controlli di budget integrati con limiti rigidi per chiamate, crediti e latenza
• Monitoraggio dei costi e osservabilità con resoconti dettagliati dell'esecuzione e conteggio dei token
• Modello coordinatore Ministral addestrato per prendere decisioni di instradamento intelligenti

Pensato per sviluppatori e team AI che realizzano sistemi di inferenza attenti ai costi, Dot Loom riduce le chiamate API superflue mantenendo la qualità. Il runtime è in fase alpha ed è adatto a esperimenti, demo e architetture di produzione che richiedono una selezione dinamica dei modelli. Il suo approccio adattivo è utile a chi utilizza più modelli o vuole ottimizzare i costi degli LLM.