Хай агент для програмування сам вибере модель.
Вибрати модель для ваших карт — це вибрати квантування, рушій (vLLM або llama.cpp), спосіб розподілу між GPU, обсяг контексту, тип KV-кешу і те, чи допоможе спекулятивне декодування. Кожна спроба означає нове завантаження файлів і запуск моделі. Агент для програмування може виконати цей пошук за вас, поки ви займаєтеся іншим, бо все, що робить консоль, — це виклик API.
Налаштування у три кроки
- Установіть LM Warden на хост із GPU (команду наведено в розділі Завантажити й установити) і пройдіть майстер налаштування.
- Створіть токен адміністратора в Settings → Access Tokens із терміном дії 30 днів. Експортуйте його як
VW_ADMIN_TOKEN, а адресу LM Warden — якWв оболонці, якою користується ваш агент. - Запустіть агента: Claude Code, Codex CLI або інший, що вміє виконувати команди оболонки. Для цієї роботи він може використовувати хмарну модель; налаштовує він ту модель, що працює на ваших картах.
Чим користується агент
| Крок | Ендпоінт |
|---|---|
| Переглянути карти | GET /api/system/gpus |
| Перевірити, чи вміститься модель, до завантаження | POST /api/models/fit-preview |
| Зареєструвати й отримати початкову конфігурацію | POST /api/models, GET /api/models/{model_id}/suggest-config |
| Завантажити й запустити | POST /api/models/{model_id}/pull, POST /api/models/{model_id}/load |
| Виміряти реальну межу контексту | POST /api/models/{model_id}/stress, потім POST /api/models/{model_id}/stress/apply |
| Прочитати показники LM Warden | GET /api/stats/v2/throughput, GET /api/stats/v2/latency |
| Надіслати тестовий трафік | ключ для інференсу з POST /api/tokens, на /v1/chat/completions |
Спершу агент читає посібник для агента: короткий опис цих викликів, написаний для мовної моделі, з помилками, яких слід уникати.
Промпти для вставлення
Замініть https://your-warden на адресу вашого LM Warden, а назви великими літерами — на моделі, які ви маєте на увазі.
1. Вивчити обладнання й відібрати моделі
Read https://your-warden/agent-guide.md and follow it. My admin token is in $VW_ADMIN_TOKEN and the warden is at $W. List the GPUs this warden may use. Then shortlist three open-weight models from Hugging Face that fit them, for agentic coding with tool calling. Check each with POST /api/models/fit-preview and keep only those that fit with at least 65536 tokens of context. Show me a table: model, quantisation, engine, GPUs, context, and why. Do not download anything yet.
2. Вибрати рушій і розкладку для однієї моделі
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. For the model MODEL_REPO, decide between vLLM and llama.cpp, and between tensor parallel and data parallel replicas on my GPUs. Use fit-preview for every layout you consider. Register and load the best two layouts one after the other, send each the same 20 streaming requests through an inference key you issue, and compare time to first token and tokens per second at concurrency 1 and 8. Keep the winner loaded, unload the other, revoke the key, and report the numbers.
3. Знайти реальні межі й застосувати їх
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. The loaded model is MODEL_NAME. Nobody else is using this warden right now. Run a quick stress run on it, wait for it to finish, read its capabilities and apply the measured context. Then benchmark it at concurrency 1, 4 and 16 with prompts of about 2k and 30k tokens, and give me a table of time to first token and tokens per second.
4. Порівняти двох кандидатів на моєму навантаженні
Read https://your-warden/agent-guide.md and follow it. Credentials are in $VW_ADMIN_TOKEN and $W. Compare MODEL_A and MODEL_B for my workload: the prompts in ./workload/*.txt. Load each in turn with its best layout, replay the prompts at concurrency 4, and record latency, tokens per second, and whether each answer is correct by your judgement. Write the results to ./model-comparison.md with a recommendation, and leave the recommended model loaded.
Перш ніж почати
- Токен адміністратора має повні адміністративні права в LM Warden: моделі, ключі й налаштування. Вужчих прав доступу поки немає. Задайте йому короткий термін дії.
- Стрес-тест навмисно доводить рушій до збою, щоб знайти його межу. Запускайте ці промпти на LM Warden, від якого ніхто інший не залежить.
- Завантаження великі. Промпти просять агента перевірити, чи вміститься модель, перш ніж завантажувати, але стежте за диском.
- Відкличте токен адміністратора в Settings → Access Tokens, коли роботу буде завершено.