LM Warden

OpenCode sur vos propres GPU.

LM Warden comme fournisseur compatible OpenAI pour OpenCode, avec un seul modèle servi.

Où va une requête envoyée par OpenCode OpenCode envoie ses requêtes à LM Warden : baseURL pointe vers le warden et apiKey contient une clé du warden. LM Warden vérifie la clé, interprète la requête au format OpenAI Chat Completions, la place en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU). OpenCode baseURL the warden, at /v1 apiKey vw_…, the warden key POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica
Où va une requête envoyée par OpenCode OpenCode envoie ses requêtes à LM Warden : baseURL pointe vers le warden et apiKey contient une clé du warden. LM Warden vérifie la clé, interprète la requête au format OpenAI Chat Completions, la place en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU). OpenCode baseURL the warden, at /v1 apiKey vw_…, the warden key POST /v1/chat/completions LM Warden checks the key: one per app speaks OpenAI Chat Completions scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica
Où va une requête envoyée par OpenCode : les deux paramètres que génère Connect, le warden au centre, puis une copie du modèle par GPU.

En clair : OpenCode envoie ses requêtes à LM Warden : baseURL pointe vers le warden et apiKey contient une clé du warden. LM Warden vérifie la clé, interprète la requête au format OpenAI Chat Completions, la place en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU).

Protocole
OpenAI Chat Completions
Prise en charge
Modèles locaux uniquement

Modèles locaux uniquement, via Chat Completions (@ai-sdk/openai-compatible ; @ai-sdk/openai utiliserait la Responses API, que ce warden traduit pour Codex CLI uniquement). L’ID du modèle doit être un nom servi issu de /v1/models. Pour un fichier versionné, utilisez {env:LMWARDEN_KEY} au lieu de la clé. Le mode Router via le fournisseur Anthropic d’OpenCode n’est pas encore couvert.

Prérequis

  • Nécessite un modèle capable d’appeler des outils (modifications agentiques).
  • Fonctionne au mieux avec au moins 32 768 jetons de contexte.

Configuration

Dans la console, Connect génère ces fichiers avec l’adresse de votre warden, votre clé et le modèle choisi. Ils sont présentés ici avec des valeurs fictives.

Modèles locaux

Ajoutez LM Warden comme fournisseur dans opencode.json et faites-en le fournisseur par défaut.

opencode.json (opencode.json)
{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "lmwarden": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "LM Warden",
      "options": { "baseURL": "https://your-warden/v1", "apiKey": "vw_YOUR_KEY" },
      "models": {
        "your-served-model-name": { "name": "your-served-model-name", "limit": { "context": 32768, "output": 8192 } }
      }
    }
  },
  "model": "lmwarden/your-served-model-name"
}
Shell
opencode run "Reply with the single word OK."

Documentation officielle : https://opencode.ai/docs/providers/ (consultée le 2026-10-04).