Grok CLI auf Ihren eigenen GPUs.

Grok Build CLI von xAI mit LM Warden als Modell mit eigenem Schlüssel (BYOK).

Wohin eine Anfrage von Grok CLI geht: die zwei Einstellungen, die Connect einträgt, der Warden in der Mitte, dann eine Kopie des Modells pro GPU.

Kurz gesagt: Grok CLI sendet seine Anfragen an LM Warden: base_url zeigt auf den Warden, env_key enthält einen Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt OpenAI Chat Completions, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU.

Protokoll: OpenAI Chat Completions
Unterstützung: Nur lokale Modelle

Nur lokale Modelle, über Chat Completions (api_backend = chat_completions). Es gibt keine Durchleitung zu xAI, und ein BYOK-Modell braucht keine xAI-Anmeldung. session_summary sorgt dafür, dass Grok auch die Anfragen für Sitzungstitel an dieses Modell stellt; ohne diese Einstellung fragt Grok diesen Warden nach grok-4.6 und erhält einen 404. Grok ergänzt config.toml beim Ausführen um eigene Abschnitte. Das Community-Tool grok-cli (npm grok-dev) ist ein anderes Werkzeug: Chat funktioniert, Tool-Aufrufe nicht.

Voraussetzungen

Braucht ein Modell mit Tool-Aufrufen (agentische Bearbeitungen).
Funktioniert am besten mit mindestens 32.768 Token Kontext.

Einrichtung

In der Konsole erzeugt Connect diese Dateien mit der Adresse Ihres Wardens, Ihrem Schlüssel und dem gewählten Modell. Hier sehen Sie sie mit Platzhaltern.

Grok Build (offiziell)

Ein Modelleintrag in ~/.grok/config.toml; der Schlüssel kommt aus LMWARDEN_KEY. Installation: curl -fsSL https://x.ai/cli/install.sh | bash oder npm i -g @xai-official/grok

config.toml (~/.grok/config.toml)

[model.lmwarden]
model = "your-served-model-name"
name = "LM Warden · your-served-model-name"
base_url = "https://your-warden/v1"
env_key = "LMWARDEN_KEY"
api_backend = "chat_completions"
context_window = 32768

[models]
default = "lmwarden"
session_summary = "lmwarden"
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

Shell

export LMWARDEN_KEY=vw_YOUR_KEY
grok -m lmwarden

Community-Version von grok-cli

Das Community-Tool grok-cli liest Basis-URL, Schlüssel und Modell aus der Umgebung und braucht ein installiertes Bun. Chat funktioniert; Tool-Aufrufe scheitern, weil sein xAI-SDK Tool-Call-Chunks ablehnt, die in Teilen ankommen, wie vLLM sie streamt.

Shell

export GROK_BASE_URL=https://your-warden/v1
export GROK_API_KEY=vw_YOUR_KEY
export GROK_MODEL=your-served-model-name
npx -y grok-dev

Offizielle Dokumentation: https://docs.x.ai/build/settings/reference (abgerufen am 2026-10-04).