Aider nas suas próprias GPUs.

O Aider com um modelo servido, por meio do provedor compatível com OpenAI do próprio Aider.

Para onde vai uma solicitação do Aider: as duas configurações que o Connect grava, o warden no meio e depois uma cópia do modelo por GPU.

Em texto: O Aider envia as solicitações ao LM Warden com OPENAI_API_BASE apontando para o warden e OPENAI_API_KEY contendo uma chave do warden. O LM Warden verifica a chave, implementa o protocolo OpenAI Chat Completions, coloca a solicitação na fila pela prioridade da chave e a entrega ao roteador de réplicas, que mantém cada sessão na réplica que já tem o cache dela, uma cópia do modelo por GPU.

Protocolo: OpenAI Chat Completions
Suporte: Só modelos locais

Só modelos locais, via Chat Completions. O Aider edita por formatos de texto, então o modelo não precisa de chamada de ferramentas. O arquivo de metadados só impede que o Aider avise sobre um modelo desconhecido e define o tamanho do contexto.

Requisitos

Funciona melhor com pelo menos 32.768 tokens de contexto.

Configuração

No console, o Connect grava estes arquivos com o endereço do seu warden, a sua chave e o modelo que você escolheu. Aqui eles aparecem com espaços reservados.

Modelos locais

Configure o provedor OpenAI do Aider para usar este warden.

Shell

export OPENAI_API_BASE=https://your-warden/v1
export OPENAI_API_KEY=vw_YOUR_KEY
aider --model openai/your-served-model-name

.aider.model.metadata.json (.aider.model.metadata.json)

{
  "openai/your-served-model-name": {
    "max_input_tokens": 32768,
    "max_output_tokens": 8192,
    "max_tokens": 8192,
    "input_cost_per_token": 0,
    "output_cost_per_token": 0,
    "litellm_provider": "openai",
    "mode": "chat"
  }
}

Id de sessão por execução (opcional)

# Run this instead of `aider ...`: it writes a fresh session id per launch.
SID=$(python3 -c 'import uuid; print(uuid.uuid4())')
cat > .aider.model.settings.yml <<EOF
- name: openai/your-served-model-name
  extra_params:
    extra_headers:
      X-Session-Id: $SID
EOF
aider --model openai/your-served-model-name

Documentação oficial: https://aider.chat/docs/llms/openai-compat.html (lida em 2026-10-04).