Continue sur vos propres GPU.

Le fournisseur OpenAI de Continue, configuré pour pointer vers ce warden, avec un seul modèle servi.

Où va une requête envoyée par Continue : les deux paramètres que génère Connect, le warden au centre, puis une copie du modèle par GPU.

En clair : Continue envoie ses requêtes à LM Warden : apiBase pointe vers le warden et apiKey contient une clé du warden. LM Warden vérifie la clé, interprète la requête au format OpenAI Chat Completions, la place en file d’attente selon la priorité de la clé, puis la confie au routeur de réplicas, qui maintient chaque session sur le réplica détenant déjà son cache (une copie du modèle par GPU).

Protocole: OpenAI Chat Completions
Prise en charge: Modèles locaux uniquement

Modèles locaux uniquement, via Chat Completions. Le mode Router nécessiterait des en-têtes personnalisés que Continue ne documente pas.

Prérequis

Fonctionne au mieux avec au moins 32 768 jetons de contexte.

Configuration

Dans la console, Connect génère ces fichiers avec l’adresse de votre warden, votre clé et le modèle choisi. Ils sont présentés ici avec des valeurs fictives.

Modèles locaux

Une entrée de modèle dans ~/.continue/config.yaml.

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    capabilities: [tool_use]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

Documentation officielle : https://docs.continue.dev/reference (consultée le 2026-10-04).