Dostawca OpenAI Compatible w Cline, wypełniany na jego ekranie ustawień.
Dokąd trafia żądanie z Cline: dwa ustawienia zapisywane przez Connect, LM Warden pośrodku, a potem po jednej kopii modelu na kartę GPU.
Opis słowny:Cline wysyła żądania do LM Warden: Base URL wskazuje instancję LM Warden, a API Key zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU.
Protokół
OpenAI Chat Completions
Obsługa
Tylko modele lokalne
Tylko modele lokalne, przez strumieniowe Chat Completions. Cline nie ma pliku konfiguracyjnego: wpisz te wartości w API Provider > OpenAI Compatible. Jego dostawca Anthropic ma niestandardowy bazowy adres URL, ale nie ma niestandardowego nagłówka, więc tryb Router jest niedostępny.
Wymagania
Wymaga modelu z wywoływaniem narzędzi (edycje agentowe).
Działa najlepiej z kontekstem co najmniej 32 768 tokenów.
Konfiguracja
W konsoli Connect zapisuje te pliki z adresem twojej instancji LM Warden, twoim kluczem i wybranym modelem. Tutaj są pokazane z symbolami zastępczymi.
Modele lokalne
Settings > API Provider > OpenAI Compatible.
Ustawienia
Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768