Der Anbieter OpenAI Compatible von Cline, ausgefüllt über seinen Einstellungsbildschirm.
Wohin eine Anfrage von Cline geht: die zwei Einstellungen, die Connect einträgt, der Warden in der Mitte, dann eine Kopie des Modells pro GPU.
Kurz gesagt:Cline sendet seine Anfragen an LM Warden: Base URL zeigt auf den Warden, API Key enthält einen Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt OpenAI Chat Completions, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU.
Protokoll
OpenAI Chat Completions
Unterstützung
Nur lokale Modelle
Nur lokale Modelle, über gestreamte Chat Completions. Cline hat keine Konfigurationsdatei: Geben Sie diese Werte unter API Provider > OpenAI Compatible ein. Sein Anthropic-Anbieter akzeptiert eine benutzerdefinierte Basis-URL, aber keinen benutzerdefinierten Header, daher ist der Router-Modus nicht verfügbar.
Voraussetzungen
Braucht ein Modell mit Tool-Aufrufen (agentische Bearbeitungen).
Funktioniert am besten mit mindestens 32.768 Token Kontext.
Einrichtung
In der Konsole erzeugt Connect diese Dateien mit der Adresse Ihres Wardens, Ihrem Schlüssel und dem gewählten Modell. Hier sehen Sie sie mit Platzhaltern.
Lokale Modelle
Settings > API Provider > OpenAI Compatible.
Einstellungen
Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768