Grok CLI, आपके अपने GPU पर।
xAI का Grok Build CLI, जिसमें LM Warden को अपनी कुंजी वाले (BYOK) मॉडल के रूप में जोड़ा जाता है।
शब्दों में: Grok CLI अपने अनुरोध LM Warden को भेजता है, जिसमें base_url warden पर सेट है और env_key में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI Chat Completions समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है।
- प्रोटोकॉल
- OpenAI Chat Completions
- सपोर्ट
- सिर्फ़ लोकल मॉडल
सिर्फ़ लोकल मॉडल, Chat Completions पर (api_backend = chat_completions)। अनुरोध xAI तक आगे नहीं भेजे जाते, और BYOK मॉडल के लिए xAI लॉगिन नहीं चाहिए। session_summary Grok के सेशन-टाइटल अनुरोधों को इसी मॉडल पर रखता है; इसके बिना Grok इस warden से grok-4.6 माँगता है और उसे 404 मिलता है। Grok चलते समय config.toml में अपने सेक्शन जोड़ता है। कम्युनिटी grok-cli (npm grok-dev) एक अलग टूल है: चैट काम करती है, टूल कॉल नहीं।
आवश्यकताएँ
- टूल कॉलिंग वाला मॉडल चाहिए (एजेंटिक एडिट के लिए)।
- कम से कम 32,768 टोकन के कॉन्टेक्स्ट के साथ सबसे अच्छा काम करता है।
सेटअप
कंसोल में Connect ये फ़ाइलें आपके warden के पते, आपकी कुंजी और आपके चुने हुए मॉडल के साथ लिखता है। यहाँ ये प्लेसहोल्डर के साथ दी गई हैं।
Grok Build (आधिकारिक)
~/.grok/config.toml में एक मॉडल एंट्री; कुंजी LMWARDEN_KEY से आती है। इंस्टॉल: curl -fsSL https://x.ai/cli/install.sh | bash, या npm i -g @xai-official/grok
config.toml (~/.grok/config.toml)[model.lmwarden] model = "your-served-model-name" name = "LM Warden · your-served-model-name" base_url = "https://your-warden/v1" env_key = "LMWARDEN_KEY" api_backend = "chat_completions" context_window = 32768 [models] default = "lmwarden" session_summary = "lmwarden" # The model's context window is unknown: 32768 is a guess. Set it to the model's real window.
export LMWARDEN_KEY=vw_YOUR_KEY grok -m lmwarden
कम्युनिटी grok-cli
कम्युनिटी grok-cli अपना Base URL, कुंजी और मॉडल एनवायरनमेंट से पढ़ता है और इसके लिए Bun इंस्टॉल होना चाहिए। चैट काम करती है; टूल कॉल विफल होते हैं, क्योंकि उसका xAI SDK हिस्सों में आने वाले टूल-कॉल चंक अस्वीकार करता है, जैसे vLLM उन्हें स्ट्रीम करता है।
export GROK_BASE_URL=https://your-warden/v1 export GROK_API_KEY=vw_YOUR_KEY export GROK_MODEL=your-served-model-name npx -y grok-dev
आधिकारिक दस्तावेज़: https://docs.x.ai/build/settings/reference (2026-10-04 की स्थिति)।