Aider en tus propias GPU.

Aider con un modelo servido a través de su proveedor compatible con OpenAI.

Adónde va una solicitud de Aider: las dos opciones que configura Connect, el warden en medio y, después, una copia del modelo por GPU.

Descripción: Aider envía sus solicitudes a LM Warden, con OPENAI_API_BASE configurada con la dirección del warden y una clave del warden en OPENAI_API_KEY. LM Warden comprueba la clave, recibe la solicitud por OpenAI Chat Completions, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU.

Protocolo: OpenAI Chat Completions
Compatibilidad: Solo modelos locales

Solo modelos locales, mediante Chat Completions. Aider edita con formatos de texto, así que el modelo no necesita llamadas a herramientas. El archivo de metadatos solo sirve para que Aider no avise de un modelo desconocido y para fijar su tamaño de contexto.

Requisitos

Funciona mejor con al menos 32.768 tokens de contexto.

Configuración

En la consola, Connect genera estos archivos con la dirección de tu warden, tu clave y el modelo que hayas elegido. Aquí aparecen con marcadores de posición.

Modelos locales

Configura el proveedor OpenAI de Aider para que use este warden.

Shell

export OPENAI_API_BASE=https://your-warden/v1
export OPENAI_API_KEY=vw_YOUR_KEY
aider --model openai/your-served-model-name

.aider.model.metadata.json (.aider.model.metadata.json)

{
  "openai/your-served-model-name": {
    "max_input_tokens": 32768,
    "max_output_tokens": 8192,
    "max_tokens": 8192,
    "input_cost_per_token": 0,
    "output_cost_per_token": 0,
    "litellm_provider": "openai",
    "mode": "chat"
  }
}

ID de sesión por ejecución (opcional)

# Run this instead of `aider ...`: it writes a fresh session id per launch.
SID=$(python3 -c 'import uuid; print(uuid.uuid4())')
cat > .aider.model.settings.yml <<EOF
- name: openai/your-served-model-name
  extra_params:
    extra_headers:
      X-Session-Id: $SID
EOF
aider --model openai/your-served-model-name

Documentación oficial: https://aider.chat/docs/llms/openai-compat.html (consultada el 2026-10-04).