Що питають, перш ніж установити.
Що таке LM Warden?
Площина керування навколо рушіїв інференсу на вашому власному обладнанні: vLLM і llama.cpp на хості Linux із GPU NVIDIA або MLX і llama.cpp у бета-версії застосунку на Mac з Apple silicon. Ви завантажуєте модель із HuggingFace, запускаєте її на власному GPU, створюєте ключ API й викликаєте її через OpenAI-сумісний ендпоінт /v1. Вебінтерфейс охоплює завантаження й вивантаження моделей, журнали рушія в реальному часі, тестовий чат, статистику GPU й токенів і сторінку для кожного ключа API. Він не робить моделі швидшими й не змінює рушії. Він додає те, чого бракує рушію самому по собі.
На яких GPU й операційних системах він працює?
Linux і macOS. У Linux: GPU NVIDIA на хості x86_64. Мінімум — Turing (sm_75, покоління RTX 20-ї серії): базовий образ містить CUDA 13, де вже немає підтримки Maxwell, Pascal і Volta, тож GTX 1080 Ti, Titan X або V100 не працюватимуть. Підтримуються покоління від Turing до Blackwell, зокрема Ada, Hopper і RTX 50-ї серії. У macOS: Apple silicon (M1 або новіший), через окремий застосунок для Mac у бета-версії: нативний застосунок у рядку меню для macOS 14 або новішої, який запускає моделі через MLX і збірку llama.cpp для Metal, надає той самий OpenAI-сумісний API та показує ту саму панель у власному вікні; завантажити його можна з lmwarden.com/download/mac (близько 110 МБ, із файлом SHA-256). Він має ad-hoc-підпис і не пройшов нотаризацію, тож під час першого запуску дозвольте його в «Системні параметри › Приватність і безпека › Усе одно відкрити» (у macOS 14 також працює клацання правою кнопкою › «Відкрити»); за замовчуванням він приймає з’єднання лише на локальному інтерфейсі (loopback) і не оновлюється сам. Наступна — Windows; ми над нею працюємо, дати поки немає. У цьому випуску немає варіанта для ROCm, GPU Intel чи CPU; AMD Radeon і GPU Intel є в планах, а що буде першим, залежить від відгуків у GitHub Discussions проєкту. Кілька GPU в одному сервері Linux підтримуються; одна модель, розділена між кількома машинами, — ні.
Чи працюватиме з ним мій наявний клієнт OpenAI?
Так. Шлюз на /v1/* сумісний з OpenAI, тож SDK openai, LangChain, OpenWebUI і ваші власні агенти працюють без змін, щойно ви зміните base_url і ключ. GET /v1/models також повідомляє max_model_len кожної моделі, тож клієнтові не треба вгадувати розмір контекстного вікна. Codex CLI, який підтримує лише OpenAI Responses API, теж працює: POST /v1/responses перекладається в Chat Completions для завантаженої вами моделі (без збереження стану й лише локально: правила маршрутизатора не застосовуються).
Чи можна використовувати його з Claude Code і зберегти мій обліковий запис Anthropic?
Так. Спрямуйте ANTHROPIC_BASE_URL на LM Warden, залишайтеся в claude під звичайним обліковим записом і додайте ключ LM Warden до ANTHROPIC_CUSTOM_HEADERS як X-LMWarden-Key. Правило зіставляє назву моделі, яку запитує Claude Code, наприклад claude-haiku*, з моделлю, завантаженою на ваших GPU; усі інші моделі й усі інші шляхи /v1 передаються до Anthropic байт у байт під вашим власним обліковим записом. Потрібен Claude Code 2.1.227 або новіший, за замовчуванням функцію вимкнено, і ключ має бути позначено прапорцем «May relay to Anthropic», перш ніж щось буде переслано. Старіші клієнти можуть і далі працювати в режимі «лише локально».
Чи бачить Anthropic мій ключ LM Warden, а LM Warden — мої облікові дані Anthropic?
Anthropic ніколи не бачить ключа LM Warden: він передається в окремому заголовку й видаляється, перш ніж запит буде передано далі. LM Warden таки обробляє ваші облікові дані Anthropic, бо мусить їх пересилати, але тільки до Anthropic. Їх ніколи не надсилають рушію й не записують у журнал, а з переданих запитів нічого не зберігається й не показується в God mode.
Які рушії інференсу він використовує?
У Linux — офіційні версії vLLM v0.32.0 і llama.cpp b11719 без змін, вибрані для кожної моделі: жодного пропатченого образу, жодного форка, жодного monkeypatching. Вибір файлу .gguf вмикає llama.cpp, який завдяки квантуванню GGUF вміщає більші моделі на менші карти й дає змогу далі користуватися старішими GPU. TensorRT-LLM, SGLang і рантайм Ollama не постачаються; бета-версія для Mac запускає моделі через MLX, свій рушій за замовчуванням, або через збірку llama.cpp для Metal для файлів .gguf, і vLLM у ній немає.
Чи щось залишає мою машину?
Ніщо не залишає хост, якщо ви не ввімкнете маршрутизатор Claude Code й не позначите ключ прапорцем «May relay to Anthropic». Тоді запити від цього ключа до моделей Claude, які жодне правило не надсилає на ваші GPU, ідуть до Anthropic під власним обліковим записом Anthropic користувача, і більше нічого. Немає облікового запису, перевірки ліцензії чи аналітики. Крім цього, стек звертається назовні лише тоді, коли ви про це просите: до huggingface.co, щоб завантажити ваги (HF_HUB_OFFLINE=1 вимикає навіть це), до Docker Hub, коли ви відкриваєте вибір версії рушія, і до реєстру з образами випуску (в офлайн-установленні чи в ізольованій мережі його замінює docker load).
Чи зберігаються промпти й відповіді?
За замовчуванням ні. Історія запитів, на якій побудовано графіки й облік за ключами, містить лише метадані й не має стовпця для тексту промпту чи відповіді. Дві діагностичні функції можуть зберігати вміст, і обидві вимкнені, доки ви їх не ввімкнете: God mode (VW_GODMODE_ENABLED) — обмежений перегляд трафіку одного ключа в пам’яті — і журнал вмісту (VW_CONTENT_LOG_ENABLED), який записує на диск лише для вказаних вами ідентифікаторів токенів.
Як ключі API працюють для команди?
Кожен застосунок чи людина отримує власний ключ vw_ із власною сторінкою. Задайте пріоритет від P0 до P9 (запит P9, що чекає, завжди йде перед P8), призупиніть ключ, щоб його клієнти отримували 403 token paused, поки запити, що виконуються, завершуються, або замініть його з перехідним періодом, протягом якого старий секрет ще працює. Запити, токени промптів і токени відповідей обліковуються за ключем і IP-адресою клієнта, з часом очікування в черзі й затримкою для кожного ключа. Скрипти, CI та агенти, що працюють з API керування, замість пароля адміністратора використовують окремі токени адміністратора vwa_.
Чи можна запустити кілька моделей на одному GPU?
Ні. Одна завантажена модель на GPU — це правило, яке перевіряється до запуску рушія. Ви можете завантажити різні моделі на різні карти одного хоста й розділити одну модель між кількома картами за допомогою тензорного паралелізму vLLM.
Що потрібно для встановлення?
У Linux — хост із Docker, Docker Compose v2.24 або новішим, GPU NVIDIA, NVIDIA Container Toolkit і близько 40 ГБ вільного місця там, де Docker зберігає образи. Інсталятор перевіряє хост, дає вибрати GPU, генерує секрети, завантажує образи випуску й пропонує запустити стек. Потім майстер першого запуску в браузері запитує, які GPU використовувати, токен HuggingFace і ваш обліковий запис адміністратора. На Mac з Apple silicon натомість достатньо завантажити бета-версію застосунку; див. розділ про Mac.
Скільки це коштує?
Нічого. LM Warden поширюється за ліцензією Apache-2.0. Це програмне забезпечення, яке ви запускаєте самі, а не хмарний API: обладнання, драйвер, диск і електроенергію забезпечуєте ви, і коли обладнання вже оплачено, запит коштує лише електроенергії, а не плати за кожен токен.