Aider, आपके अपने GPU पर।

Aider अपने OpenAI-संगत प्रोवाइडर के ज़रिए एक लोड किए गए मॉडल पर चलता है।

Aider का अनुरोध कहाँ जाता है: Connect की लिखी दो सेटिंग, बीच में warden, फिर हर GPU पर मॉडल की एक कॉपी।

शब्दों में: Aider अपने अनुरोध LM Warden को भेजता है, जिसमें OPENAI_API_BASE warden पर सेट है और OPENAI_API_KEY में warden की कुंजी है। LM Warden कुंजी जाँचता है, OpenAI Chat Completions समझता है, कुंजी की प्राथमिकता के हिसाब से अनुरोध को क़तार में रखता है और उसे रेप्लिका राउटर को सौंपता है। राउटर हर सेशन को उसी रेप्लिका पर भेजता है जिसके पास उसका कैश पहले से है; हर GPU पर मॉडल की एक अलग कॉपी चलती है।

प्रोटोकॉल: OpenAI Chat Completions
सपोर्ट: सिर्फ़ लोकल मॉडल

सिर्फ़ लोकल मॉडल, Chat Completions पर। Aider टेक्स्ट फ़ॉर्मैट के ज़रिए एडिट करता है, इसलिए मॉडल को टूल कॉलिंग की ज़रूरत नहीं। मेटाडेटा फ़ाइल सिर्फ़ Aider की अनजान मॉडल वाली चेतावनी रोकती है और उसके कॉन्टेक्स्ट का आकार सेट करती है।

आवश्यकताएँ

कम से कम 32,768 टोकन के कॉन्टेक्स्ट के साथ सबसे अच्छा काम करता है।

सेटअप

कंसोल में Connect ये फ़ाइलें आपके warden के पते, आपकी कुंजी और आपके चुने हुए मॉडल के साथ लिखता है। यहाँ ये प्लेसहोल्डर के साथ दी गई हैं।

लोकल मॉडल

Aider के OpenAI प्रोवाइडर को इस warden पर सेट करें।

शेल

export OPENAI_API_BASE=https://your-warden/v1
export OPENAI_API_KEY=vw_YOUR_KEY
aider --model openai/your-served-model-name

.aider.model.metadata.json (.aider.model.metadata.json)

{
  "openai/your-served-model-name": {
    "max_input_tokens": 32768,
    "max_output_tokens": 8192,
    "max_tokens": 8192,
    "input_cost_per_token": 0,
    "output_cost_per_token": 0,
    "litellm_provider": "openai",
    "mode": "chat"
  }
}

हर लॉन्च के लिए सेशन ID (वैकल्पिक)

# Run this instead of `aider ...`: it writes a fresh session id per launch.
SID=$(python3 -c 'import uuid; print(uuid.uuid4())')
cat > .aider.model.settings.yml <<EOF
- name: openai/your-served-model-name
  extra_params:
    extra_headers:
      X-Session-Id: $SID
EOF
aider --model openai/your-served-model-name

आधिकारिक दस्तावेज़: https://aider.chat/docs/llms/openai-compat.html (2026-10-04 की स्थिति)।