Пусть агент для программирования выберет модель.
Подобрать модель под ваши карты — значит выбрать квантование, движок (vLLM или llama.cpp), способ разделить модель между GPU, размер контекста, тип KV-кэша и понять, есть ли польза от спекулятивного декодирования. Каждая ошибка оборачивается лишним скачиванием и загрузкой. Агент для программирования может провести этот перебор за вас, пока вы заняты другим, потому что все, что делает консоль, доступно через API.
Настройка в три шага
- Установите LM Warden на сервер с GPU (команда — в разделе Скачать и установить) и пройдите мастер настройки.
- Создайте административный токен в Settings → Access Tokens со сроком действия 30 дней. В оболочке, которой пользуется агент, экспортируйте его в переменную
VW_ADMIN_TOKEN, а адрес сервера LM Warden — вW. - Запустите агента: Claude Code, Codex CLI или любой другой, который умеет выполнять команды оболочки. Сам агент для этой работы может использовать облачную модель, а настраивает он ту модель, что работает на ваших картах.
Чем пользуется агент
| Шаг | Эндпоинт |
|---|---|
| Посмотреть карты | GET /api/system/gpus |
| Проверить до скачивания, поместится ли модель | POST /api/models/fit-preview |
| Зарегистрировать, получить начальную конфигурацию | POST /api/models, GET /api/models/{model_id}/suggest-config |
| Скачать и загрузить модель | POST /api/models/{model_id}/pull, POST /api/models/{model_id}/load |
| Измерить реальный предел контекста | POST /api/models/{model_id}/stress, затем POST /api/models/{model_id}/stress/apply |
| Получить метрики LM Warden | GET /api/stats/v2/throughput, GET /api/stats/v2/latency |
| Отправить тестовый трафик | ключ для инференса, полученный через POST /api/tokens, и запросы на /v1/chat/completions |
Сначала агент читает руководство для агента: краткое описание этих вызовов, написанное для языковой модели, с ошибками, которых стоит избегать.
Готовые промпты
Замените https://your-warden адресом своего сервера LM Warden, а имена, написанные заглавными буквами, — названиями нужных моделей.
1. Изучить оборудование и отобрать модели
Read https://your-warden/agent-guide.md and follow it. My admin token is in $VW_ADMIN_TOKEN and the warden is at $W. List the GPUs this warden may use. Then shortlist three open-weight models from Hugging Face that fit them, for agentic coding with tool calling. Check each with POST /api/models/fit-preview and keep only those that fit with at least 65536 tokens of context. Show me a table: model, quantisation, engine, GPUs, context, and why. Do not download anything yet.
2. Выбрать движок и схему размещения для одной модели
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. For the model MODEL_REPO, decide between vLLM and llama.cpp, and between tensor parallel and data parallel replicas on my GPUs. Use fit-preview for every layout you consider. Register and load the best two layouts one after the other, send each the same 20 streaming requests through an inference key you issue, and compare time to first token and tokens per second at concurrency 1 and 8. Keep the winner loaded, unload the other, revoke the key, and report the numbers.
3. Найти реальные пределы и применить их
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. The loaded model is MODEL_NAME. Nobody else is using this warden right now. Run a quick stress run on it, wait for it to finish, read its capabilities and apply the measured context. Then benchmark it at concurrency 1, 4 and 16 with prompts of about 2k and 30k tokens, and give me a table of time to first token and tokens per second.
4. Сравнить двух кандидатов на моих задачах
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. Compare MODEL_A and MODEL_B for my workload: the prompts in ./workload/*.txt. Load each in turn with its best layout, replay the prompts at concurrency 4, and record latency, tokens per second, and whether each answer is correct by your judgement. Write the results to ./model-comparison.md with a recommendation, and leave the recommended model loaded.
Прежде чем начать
- Административный токен дает полные права администратора в LM Warden: модели, ключи и настройки. Более узких прав доступа пока нет. Задайте ему короткий срок действия.
- Стресс-тест намеренно доводит движок до сбоя, чтобы найти его предел. Запускайте эти промпты на сервере LM Warden, от которого больше никто не зависит.
- Скачивать придется много. Промпты просят агента проверить совместимость модели до скачивания, но следите за свободным местом на диске.
- Когда работа будет закончена, отзовите административный токен в Settings → Access Tokens.