OpenAI SDK на ваших власних GPU.

Будь-який OpenAI SDK або будь-що з налаштуванням OpenAI-сумісної базової URL-адреси.

Куди йде запит від OpenAI SDK: два налаштування, які записує Connect, LM Warden посередині, а далі по одній копії моделі на GPU.

Текстовий опис: OpenAI SDK надсилає запити до LM Warden: base_url вказує на LM Warden, а api_key містить ключ LM Warden. LM Warden перевіряє ключ, приймає запит у форматі OpenAI Chat Completions, ставить його в чергу за пріоритетом ключа й передає маршрутизатору реплік, який тримає кожен сеанс на тій репліці, де вже є його кеш (по одній копії моделі на кожен GPU).

Протокол: OpenAI Chat Completions
Підтримка: Лише локальні моделі

Лише локальні моделі. Передачі до OpenAI немає: запит до gpt-* отримує 404. Обслуговуються Chat Completions і Completions; /v1/responses — це переклад у Chat Completions без збереження стану (див. Codex CLI).

Налаштування

У консолі Connect записує ці файли з адресою вашого LM Warden, вашим ключем і вибраною моделлю. Тут вони наведені із заповнювачами.

Локальні моделі

base_url — це /v1 цього LM Warden, а ключ LM Warden — це ключ API.

Python

from openai import OpenAI

client = OpenAI(base_url="https://your-warden/v1", api_key="vw_YOUR_KEY")
response = client.chat.completions.create(
    model="your-served-model-name",
    messages=[{"role": "user", "content": "Reply with the single word OK."}],
)
print(response.choices[0].message.content)

TypeScript

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://your-warden/v1", apiKey: "vw_YOUR_KEY" });
const response = await client.chat.completions.create({
  model: "your-served-model-name",
  messages: [{ role: "user", content: "Reply with the single word OK." }],
});
console.log(response.choices[0].message.content);

curl

curl https://your-warden/v1/chat/completions \
  -H "Authorization: Bearer vw_YOUR_KEY" \
  -H "content-type: application/json" \
  -d '{"model": "your-served-model-name", "stream": false, "messages": [{"role": "user", "content": "Reply with the single word OK."}]}'

Офіційна документація: https://github.com/openai/openai-python#readme (переглянуто 2026-10-04).