LM Warden

Tu agente de programación, en tus propias GPU.

LM Warden es compatible con los tres protocolos que usan los agentes de programación: OpenAI Chat Completions, la API Anthropic Messages y la OpenAI Responses API. Así, Claude Code, los SDK de Anthropic y OpenAI, OpenCode, Aider, Grok CLI, Continue, Cline, Cursor y Codex CLI se conectan con una URL base y una clave, y sus solicitudes aparecen por clave y por sesión, con la fase en la que está cada una.

Adónde va una solicitud de tu agente de programación Tu agente de programación envía sus solicitudes a LM Warden, con la URL base configurada con la dirección del warden y una clave del warden como clave de API. LM Warden comprueba la clave, recibe la solicitud por la API de OpenAI o la de Anthropic, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU. Hay una ruta aparte hacia api.anthropic.com, solo para Claude Code: por ella van los demás modelos de Claude, con tu propia cuenta. Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
Adónde va una solicitud de tu agente de programación Tu agente de programación envía sus solicitudes a LM Warden, con la URL base configurada con la dirección del warden y una clave del warden como clave de API. LM Warden comprueba la clave, recibe la solicitud por la API de OpenAI o la de Anthropic, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU. Hay una ruta aparte hacia api.anthropic.com, solo para Claude Code: por ella van los demás modelos de Claude, con tu propia cuenta. Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
Adónde va una solicitud de un agente de programación. Todos los agentes configuran lo mismo, una URL base y una clave; el warden comprueba la clave, pone la solicitud en cola y la envía a la réplica que ya tiene la caché de la sesión. La página de cada agente muestra su propia configuración.

Descripción: Tu agente de programación envía sus solicitudes a LM Warden, con la URL base configurada con la dirección del warden y una clave del warden como clave de API. LM Warden comprueba la clave, recibe la solicitud por la API de OpenAI o la de Anthropic, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU. Hay una ruta aparte hacia api.anthropic.com, solo para Claude Code: por ella van los demás modelos de Claude, con tu propia cuenta.

No tienes que escribir la configuración a mano. En la consola eliges en Connect tu cliente, tu modelo y tu clave, y Connect genera los archivos que hay que pegar. Cada página de abajo muestra esos mismos archivos con marcadores de posición, y lo que funciona.

ClienteProtocoloCompatibilidad
Claude CodeAnthropic MessagesCompleta
Anthropic SDKAnthropic MessagesCompleta
OpenCodeOpenAI Chat CompletionsSolo modelos locales
AiderOpenAI Chat CompletionsSolo modelos locales
Grok CLIOpenAI Chat CompletionsSolo modelos locales
OpenAI SDKOpenAI Chat CompletionsSolo modelos locales
ContinueOpenAI Chat CompletionsSolo modelos locales
ClineOpenAI Chat CompletionsSolo modelos locales
CursorOpenAI Chat CompletionsSolo modelos locales
Codex CLIOpenAI ResponsesSolo modelos locales

¿Falta algún cliente? Pídelo en GitHub Discussions.