Continue，运行在你自己的 GPU 上。

Continue 的 OpenAI 提供方指向这个 warden，使用一个已部署的模型。

来自 Continue 的请求去往何处：Connect 写入的两项设置，中间是 warden，然后每块 GPU 上一份模型副本。

文字说明： Continue 把请求发送给 LM Warden，apiBase 设为 warden，apiKey 填写 warden 密钥。LM Warden 检查密钥，支持 OpenAI Chat Completions，按密钥优先级为请求排队，并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上（每块 GPU 一个模型副本）。

协议: OpenAI Chat Completions
支持情况: 仅限本地模型

仅限本地模型，通过 Chat Completions。Router 模式需要 Continue 没有记录在文档中的自定义标头。

要求

至少有 32,768 个 token 的上下文时效果最好。

设置

在控制台中，Connect 会用你的 warden 地址、你的密钥和你选择的模型写入这些文件。下面以占位符展示这些文件。

本地模型

在 ~/.continue/config.yaml 中添加一个模型条目。

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    capabilities: [tool_use]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

config.yaml (~/.continue/config.yaml)

name: LM Warden
version: 0.0.1
schema: v1
models:
  - name: your-served-model-name
    provider: openai
    model: your-served-model-name
    apiBase: https://your-warden/v1
    apiKey: vw_YOUR_KEY
    roles: [chat, edit, apply]
    useResponsesApi: false   # names like o*/gpt-5* would otherwise use /responses
    defaultCompletionOptions:
      contextLength: 32768
      maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.

官方文档：https://docs.continue.dev/reference（查阅日期：2026-10-04）。