Cline का OpenAI Compatible प्रोवाइडर, जिसे उसकी सेटिंग्स स्क्रीन में भरा जाता है।
Cline का अनुरोध कहाँ जाता है: Connect की लिखी दो सेटिंग, बीच में warden, फिर हर GPU पर मॉडल की एक कॉपी।
शब्दों में:Cline अपने अनुरोध LM Warden को भेजता है, जिसमें Base URL warden पर सेट है और API Key में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI Chat Completions समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है।
प्रोटोकॉल
OpenAI Chat Completions
सपोर्ट
सिर्फ़ लोकल मॉडल
सिर्फ़ लोकल मॉडल, स्ट्रीमिंग Chat Completions पर। Cline में कोई कॉन्फ़िग फ़ाइल नहीं है: ये मान API Provider > OpenAI Compatible के तहत डालें। उसके Anthropic प्रोवाइडर में कस्टम Base URL है लेकिन कस्टम हेडर नहीं, इसलिए राउटर मोड उपलब्ध नहीं है।
आवश्यकताएँ
टूल कॉलिंग वाला मॉडल चाहिए (एजेंटिक एडिट के लिए)।
कम से कम 32,768 टोकन के कॉन्टेक्स्ट के साथ सबसे अच्छा काम करता है।
सेटअप
कंसोल में Connect ये फ़ाइलें आपके warden के पते, आपकी कुंजी और आपके चुने हुए मॉडल के साथ लिखता है। यहाँ ये प्लेसहोल्डर के साथ दी गई हैं।
लोकल मॉडल
Settings > API Provider > OpenAI Compatible.
सेटिंग्स
Base URL: https://your-warden/v1
API Key: vw_YOUR_KEY
Model ID: your-served-model-name
Context Window Size: 32768