OpenAI SDK na twoich własnych kartach GPU.

Dowolny OpenAI SDK lub inne narzędzie, w którym można ustawić bazowy adres URL zgodny z OpenAI.

Dokąd trafia żądanie z OpenAI SDK: dwa ustawienia zapisywane przez Connect, LM Warden pośrodku, a potem po jednej kopii modelu na kartę GPU.

Opis słowny: OpenAI SDK wysyła żądania do LM Warden: base_url wskazuje instancję LM Warden, a api_key zawiera klucz LM Warden. LM Warden sprawdza klucz, obsługuje OpenAI Chat Completions, ustawia żądanie w kolejce według priorytetu klucza i przekazuje je routerowi replik, który utrzymuje każdą sesję na replice mającej już jej cache, po jednej kopii modelu na kartę GPU.

Protokół: OpenAI Chat Completions
Obsługa: Tylko modele lokalne

Tylko modele lokalne. Nie ma przekazywania do OpenAI: na żądanie do gpt-* serwer odpowiada kodem 404. Obsługiwane są Chat Completions i Completions; /v1/responses to bezstanowe tłumaczenie na Chat Completions (zobacz Codex CLI).

Konfiguracja

W konsoli Connect zapisuje te pliki z adresem twojej instancji LM Warden, twoim kluczem i wybranym modelem. Tutaj są pokazane z symbolami zastępczymi.

Modele lokalne

base_url to /v1 tej instancji LM Warden, a klucz LM Warden to klucz API.

Python

from openai import OpenAI

client = OpenAI(base_url="https://your-warden/v1", api_key="vw_YOUR_KEY")
response = client.chat.completions.create(
    model="your-served-model-name",
    messages=[{"role": "user", "content": "Reply with the single word OK."}],
)
print(response.choices[0].message.content)

TypeScript

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://your-warden/v1", apiKey: "vw_YOUR_KEY" });
const response = await client.chat.completions.create({
  model: "your-served-model-name",
  messages: [{ role: "user", content: "Reply with the single word OK." }],
});
console.log(response.choices[0].message.content);

curl

curl https://your-warden/v1/chat/completions \
  -H "Authorization: Bearer vw_YOUR_KEY" \
  -H "content-type: application/json" \
  -d '{"model": "your-served-model-name", "stream": false, "messages": [{"role": "user", "content": "Reply with the single word OK."}]}'

Oficjalna dokumentacja: https://github.com/openai/openai-python#readme (stan na 2026-10-04).