Zastąpienie bazowego adresu URL OpenAI w Cursor, do czatu z udostępnianym modelem.
Dokąd trafia żądanie z Cursor: dwa ustawienia zapisywane przez Connect, LM Warden pośrodku, a potem po jednej kopii modelu na kartę GPU.
Opis słowny:Cursor wysyła żądania do LM Warden: Override OpenAI Base URL wskazuje instancję LM Warden, a OpenAI API Key zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU.
Protokół
OpenAI Chat Completions
Obsługa
Tylko modele lokalne
Żądania są wysyłane z serwerów Cursor, więc adres URL tej instancji LM Warden musi być osiągalny z internetu; instancja w sieci LAN lub na localhost nie zadziała. Własne klucze działają tylko z modelami czatu: uzupełnianie Tab nadal używa własnych modeli Cursor, a Agent z modelami Cursor odrzuca własne klucze. Aktualna dokumentacja Cursor nie opisuje już ustawienia Override OpenAI Base URL; wiadomo o nim z odpowiedzi pracowników Cursor na forum.
Wymagania
Serwery Cursor wywołują ten adres URL, więc musi być osiągalny z internetu.
Konfiguracja
W konsoli Connect zapisuje te pliki z adresem twojej instancji LM Warden, twoim kluczem i wybranym modelem. Tutaj są pokazane z symbolami zastępczymi.
Czat z modelem lokalnym
Cursor Settings > Models, a następnie dodaj nazwę modelu jako model niestandardowy.
Ustawienia
OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name