Continue を自分の GPU で。
Continue の OpenAI プロバイダーの接続先をこの warden に設定し、提供中のモデルを一つ使います。
テキストによる説明： Continue は、apiBase に warden を、apiKey に warden のキーを設定して LM Warden にリクエストを送ります。LM Warden はキーを確認し、OpenAI Chat Completions 形式でリクエストを受け付け、キーの優先度に従ってリクエストをキューに入れ、レプリカ ルーターに渡します。ルーターは各セッションを、そのキャッシュをすでに保持しているレプリカ (GPU ごとに一つ置かれたモデルのコピー) に留めます。
- プロトコル
- OpenAI Chat Completions
- サポート
- ローカル モデルのみ
ローカル モデルのみで、Chat Completions を使います。Router モードには、Continue がドキュメント化していないカスタム ヘッダーが必要です。
要件
- 32,768 トークン以上のコンテキストで最もよく動きます。
セットアップ
コンソールでは、Connect が warden のアドレス、キー、選んだモデルを入れてこれらのファイルを書き出します。ここではプレースホルダーを使って示しています。
ローカル モデル
~/.continue/config.yaml にモデルのエントリを追加します。
config.yaml (~/.continue/config.yaml)name: LM Warden
version: 0.0.1
schema: v1
models:
- name: your-served-model-name
provider: openai
model: your-served-model-name
apiBase: https://your-warden/v1
apiKey: vw_YOUR_KEY
roles: [chat, edit, apply]
capabilities: [tool_use]
useResponsesApi: false # names like o*/gpt-5* would otherwise use /responses
defaultCompletionOptions:
contextLength: 32768
maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.config.yaml (~/.continue/config.yaml)name: LM Warden
version: 0.0.1
schema: v1
models:
- name: your-served-model-name
provider: openai
model: your-served-model-name
apiBase: https://your-warden/v1
apiKey: vw_YOUR_KEY
roles: [chat, edit, apply]
useResponsesApi: false # names like o*/gpt-5* would otherwise use /responses
defaultCompletionOptions:
contextLength: 32768
maxTokens: 8192
# The model's context window is unknown: 32768 is a guess. Set it to the model's real window.公式ドキュメント：https://docs.continue.dev/reference (2026-10-04 時点)。