Die Überschreibung der OpenAI-Basis-URL in Cursor, für Chat mit einem bereitgestellten Modell.
Wohin eine Anfrage von Cursor geht: die zwei Einstellungen, die Connect einträgt, der Warden in der Mitte, dann eine Kopie des Modells pro GPU.
Kurz gesagt:Cursor sendet seine Anfragen an LM Warden: Override OpenAI Base URL zeigt auf den Warden, OpenAI API Key enthält einen Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt OpenAI Chat Completions, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU.
Protokoll
OpenAI Chat Completions
Unterstützung
Nur lokale Modelle
Die Anfragen gehen von den Servern von Cursor aus, daher muss die URL dieses Wardens aus dem Internet erreichbar sein; ein Warden im LAN oder auf localhost funktioniert nicht. Eigene Schlüssel funktionieren nur mit Chat-Modellen: Die Tab-Vervollständigung nutzt weiterhin die eigenen Modelle von Cursor, und der Agent-Modus mit den Modellen von Cursor lehnt eigene Schlüssel ab. Die aktuelle Dokumentation von Cursor beschreibt die Einstellung Override OpenAI Base URL nicht mehr; bekannt ist sie aus Forenantworten von Cursor-Mitarbeitern.
Voraussetzungen
Die Server von Cursor rufen diese URL auf, daher muss sie aus dem Internet erreichbar sein.
Einrichtung
In der Konsole erzeugt Connect diese Dateien mit der Adresse Ihres Wardens, Ihrem Schlüssel und dem gewählten Modell. Hier sehen Sie sie mit Platzhaltern.
Chat mit einem lokalen Modell
Cursor Settings > Models, dann den Modellnamen als benutzerdefiniertes Modell hinzufügen.
Einstellungen
OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name