Grok CLI en tus propias GPU.

Grok Build CLI de xAI con LM Warden como modelo con clave propia (BYOK).

Adónde va una solicitud de Grok CLI: las dos opciones que configura Connect, el warden en medio y, después, una copia del modelo por GPU.

Descripción: Grok CLI envía sus solicitudes a LM Warden, con base_url configurada con la dirección del warden y una clave del warden en env_key. LM Warden comprueba la clave, recibe la solicitud por OpenAI Chat Completions, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU.

Protocolo: OpenAI Chat Completions
Compatibilidad: Solo modelos locales

Solo modelos locales, mediante Chat Completions (api_backend = chat_completions). No se reenvía nada a xAI, y un modelo BYOK no necesita iniciar sesión en xAI. session_summary hace que las solicitudes de Grok para titular sesiones también vayan a este modelo; sin esa opción, Grok pide grok-4.6 a este warden y recibe un 404. Grok añade sus propias secciones a config.toml cuando se ejecuta. El grok-cli de la comunidad (npm grok-dev) es otra herramienta: el chat funciona, pero las llamadas a herramientas no.

Requisitos

Necesita un modelo con llamadas a herramientas (ediciones agénticas).
Funciona mejor con al menos 32.768 tokens de contexto.

Configuración

En la consola, Connect genera estos archivos con la dirección de tu warden, tu clave y el modelo que hayas elegido. Aquí aparecen con marcadores de posición.

Grok Build (oficial)

Una entrada de modelo en ~/.grok/config.toml; la clave se toma de LMWARDEN_KEY. Instalación: curl -fsSL https://x.ai/cli/install.sh | bash o npm i -g @xai-official/grok

config.toml (~/.grok/config.toml)

[model.lmwarden]
model = "your-served-model-name"
name = "LM Warden · your-served-model-name"
base_url = "https://your-warden/v1"
env_key = "LMWARDEN_KEY"
api_backend = "chat_completions"
context_window = 32768

[models]
default = "lmwarden"
session_summary = "lmwarden"
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

Shell

export LMWARDEN_KEY=vw_YOUR_KEY
grok -m lmwarden

grok-cli de la comunidad

El grok-cli de la comunidad lee la URL base, la clave y el modelo de variables de entorno y necesita tener Bun instalado. El chat funciona; las llamadas a herramientas fallan, porque su SDK de xAI rechaza los fragmentos de llamadas a herramientas que llegan por partes, que es como vLLM los envía en streaming.

Shell

export GROK_BASE_URL=https://your-warden/v1
export GROK_API_KEY=vw_YOUR_KEY
export GROK_MODEL=your-served-model-name
npx -y grok-dev

Documentación oficial: https://docs.x.ai/build/settings/reference (consultada el 2026-10-04).