Aider auf Ihren eigenen GPUs.

Aider mit einem bereitgestellten Modell über seinen OpenAI-kompatiblen Anbieter.

Wohin eine Anfrage von Aider geht: die zwei Einstellungen, die Connect einträgt, der Warden in der Mitte, dann eine Kopie des Modells pro GPU.

Kurz gesagt: Aider sendet seine Anfragen an LM Warden: OPENAI_API_BASE zeigt auf den Warden, OPENAI_API_KEY enthält einen Warden-Schlüssel. LM Warden prüft den Schlüssel, unterstützt OpenAI Chat Completions, reiht die Anfrage nach der Priorität des Schlüssels ein und übergibt sie an den Replikat-Router, der jede Sitzung auf dem Replikat hält, das ihren Cache bereits hat – eine Modellkopie pro GPU.

Protokoll: OpenAI Chat Completions
Unterstützung: Nur lokale Modelle

Nur lokale Modelle, über Chat Completions. Aider nimmt Änderungen über Textformate vor, daher braucht das Modell kein Tool Calling. Die Metadatendatei verhindert nur, dass Aider vor einem unbekannten Modell warnt, und legt dessen Kontextgröße fest.

Voraussetzungen

Funktioniert am besten mit mindestens 32.768 Token Kontext.

Einrichtung

In der Konsole erzeugt Connect diese Dateien mit der Adresse Ihres Wardens, Ihrem Schlüssel und dem gewählten Modell. Hier sehen Sie sie mit Platzhaltern.

Lokale Modelle

Konfigurieren Sie den OpenAI-Anbieter von Aider für diesen Warden.

Shell

export OPENAI_API_BASE=https://your-warden/v1
export OPENAI_API_KEY=vw_YOUR_KEY
aider --model openai/your-served-model-name

.aider.model.metadata.json (.aider.model.metadata.json)

{
  "openai/your-served-model-name": {
    "max_input_tokens": 32768,
    "max_output_tokens": 8192,
    "max_tokens": 8192,
    "input_cost_per_token": 0,
    "output_cost_per_token": 0,
    "litellm_provider": "openai",
    "mode": "chat"
  }
}

Sitzungs-ID pro Start (optional)

# Run this instead of `aider ...`: it writes a fresh session id per launch.
SID=$(python3 -c 'import uuid; print(uuid.uuid4())')
cat > .aider.model.settings.yml <<EOF
- name: openai/your-served-model-name
  extra_params:
    extra_headers:
      X-Session-Id: $SID
EOF
aider --model openai/your-served-model-name

Offizielle Dokumentation: https://aider.chat/docs/llms/openai-compat.html (abgerufen am 2026-10-04).