LM Warden

आपका कोडिंग एजेंट, आपके अपने GPU पर।

LM Warden वे तीनों प्रोटोकॉल समझता है जो कोडिंग एजेंट इस्तेमाल करते हैं: OpenAI Chat Completions, Anthropic Messages API और OpenAI Responses API। इसलिए Claude Code, Anthropic और OpenAI SDK, OpenCode, Aider, Grok CLI, Continue, Cline, Cursor और Codex CLI एक Base URL और एक कुंजी से जुड़ जाते हैं, और उनके अनुरोध हर कुंजी, हर सेशन के हिसाब से दिखते हैं, साथ में यह भी कि हर अनुरोध किस चरण में है।

आपके कोडिंग एजेंट का अनुरोध कहाँ जाता है आपका कोडिंग एजेंट अपने अनुरोध LM Warden को भेजता है, जिसमें Base URL warden पर सेट है और API कुंजी में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI और Anthropic API समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है। एक अलग रास्ता सीधे api.anthropic.com तक जाता है, जो सिर्फ़ Claude Code के लिए है: बाकी Claude मॉडल के अनुरोध आपके अपने लॉगिन से वहाँ जाते हैं। Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
आपके कोडिंग एजेंट का अनुरोध कहाँ जाता है आपका कोडिंग एजेंट अपने अनुरोध LM Warden को भेजता है, जिसमें Base URL warden पर सेट है और API कुंजी में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI और Anthropic API समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है। एक अलग रास्ता सीधे api.anthropic.com तक जाता है, जो सिर्फ़ Claude Code के लिए है: बाकी Claude मॉडल के अनुरोध आपके अपने लॉगिन से वहाँ जाते हैं। Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
कोडिंग एजेंट का अनुरोध कहाँ जाता है। हर एजेंट वही दो चीज़ें सेट करता है, एक Base URL और एक कुंजी; warden कुंजी जाँचता है, अनुरोध को क़तार में रखता है और उसे उस रेप्लिका को भेजता है जिसके पास पहले से सेशन का कैश है। हर एजेंट का पेज उसकी अपनी सेटिंग दिखाता है।

शब्दों में: आपका कोडिंग एजेंट अपने अनुरोध LM Warden को भेजता है, जिसमें Base URL warden पर सेट है और API कुंजी में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI और Anthropic API समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है। एक अलग रास्ता सीधे api.anthropic.com तक जाता है, जो सिर्फ़ Claude Code के लिए है: बाकी Claude मॉडल के अनुरोध आपके अपने लॉगिन से वहाँ जाते हैं।

कॉन्फ़िग आपको हाथ से नहीं लिखना पड़ता। कंसोल में Connect आपका क्लाइंट, आपका मॉडल और आपकी कुंजी चुनता है और पेस्ट करने के लिए फ़ाइलें लिख देता है। नीचे का हर पेज वही फ़ाइलें प्लेसहोल्डर के साथ दिखाता है, और यह भी कि क्या काम करता है।

क्लाइंटप्रोटोकॉलसपोर्ट
Claude CodeAnthropic Messagesपूरा सपोर्ट
Anthropic SDKAnthropic Messagesपूरा सपोर्ट
OpenCodeOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
AiderOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
Grok CLIOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
OpenAI SDKOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
ContinueOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
ClineOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
CursorOpenAI Chat Completionsसिर्फ़ लोकल मॉडल
Codex CLIOpenAI Responsesसिर्फ़ लोकल मॉडल

आपका क्लाइंट सूची में नहीं है? GitHub Discussions में पूछें।