Dot Loom

Dot Loom ist eine quelloffene Orchestrierungslaufzeit, die KI-Inferenz durch die adaptive Weiterleitung von Anfragen an mehrere Modelle optimiert. Statt pro Anfrage feste Kosten zu verursachen, passt sie die Rechentiefe mithilfe trainierter Entscheidungsrichtlinien an die Schwierigkeit der jeweiligen Aufgabe an.

Höhepunkte

• Adaptive Ausführungsrichtlinien mit ein bis vier Modellaufrufen in Lean-, Balanced-, Strict- oder Fixed-Pipelines
• Anbieterunabhängige Architektur mit Unterstützung für OpenAI, Claude, Dot API, Ollama und eigene Endpunkte
• Integrierte Budgetkontrollen mit festen Obergrenzen für Aufrufe, Credits und Latenz
• Kostenverfolgung und Beobachtbarkeit mit detaillierten Ausführungsbelegen und Token-Zahlen
• Trainiertes Ministral-Steuerungsmodell für intelligente Weiterleitungsentscheidungen

Dot Loom richtet sich an Entwickler und KI-Teams, die kostenbewusste Inferenzsysteme entwickeln. Die Laufzeit reduziert unnötige API-Aufrufe, ohne die Qualität zu vernachlässigen. Sie befindet sich in der Alpha-Phase und eignet sich für Experimente, Demos und Produktionsarchitekturen, die eine dynamische Modellauswahl benötigen. Ihr adaptiver Ansatz unterstützt alle, die mehrere Modelle betreiben oder LLM-Kosten optimieren.