LM Warden

你的编程智能体,运行在你自己的 GPU 上。

LM Warden 支持编程智能体使用的三种协议:OpenAI Chat Completions、Anthropic Messages API 和 OpenAI Responses API。因此 Claude Code、Anthropic 和 OpenAI SDK、OpenCode、Aider、Grok CLI、Continue、Cline、Cursor 和 Codex CLI 只需一个 Base URL 和一个密钥即可连接,它们的请求按密钥、按会话显示,并标出每个请求所处的阶段。

来自你的编程智能体的请求去往何处 你的编程智能体把请求发送给 LM Warden,Base URL 设为 warden,API 密钥填写 warden 密钥。LM Warden 检查密钥,支持 OpenAI 和 Anthropic API,按密钥优先级为请求排队,并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上(每块 GPU 一个模型副本)。另有一条单独的路径通往 api.anthropic.com(仅限 Claude Code):其他 Claude 模型经由这条路径,使用你自己的登录。 Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency and live stats per key Replica router a session goes back to the replica that holds its cache one model copy per GPU your GPUs: vLLM or llama.cpp replica 0, GPU 0 replica 1, GPU 1 replica 2, GPU 2 a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
来自你的编程智能体的请求去往何处 你的编程智能体把请求发送给 LM Warden,Base URL 设为 warden,API 密钥填写 warden 密钥。LM Warden 检查密钥,支持 OpenAI 和 Anthropic API,按密钥优先级为请求排队,并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上(每块 GPU 一个模型副本)。另有一条单独的路径通往 api.anthropic.com(仅限 Claude Code):其他 Claude 模型经由这条路径,使用你自己的登录。 Your coding agent base URL the warden, at /v1 API key vw_…, one key per app POST /v1/… LM Warden checks the key: one per app speaks the OpenAI and Anthropic APIs scheduler, key priority usage, latency, live stats per key Replica router a session goes back to the replica that holds its cache replica 0 GPU 0 replica 1 GPU 1 replica 2 GPU 2 your GPUs: vLLM or llama.cpp a conversation stays on its replica api.anthropic.com Claude Code only: other Claude models go here, on your own login
来自编程智能体的请求去往何处。每个智能体都设置同样的两项:一个 Base URL 和一个密钥;warden 检查密钥,为请求排队,并发送到已持有该会话缓存的副本。每个智能体的页面会画出它自己的设置。

文字说明: 你的编程智能体把请求发送给 LM Warden,Base URL 设为 warden,API 密钥填写 warden 密钥。LM Warden 检查密钥,支持 OpenAI 和 Anthropic API,按密钥优先级为请求排队,并交给副本路由器。路由器让每个会话留在已持有其缓存的副本上(每块 GPU 一个模型副本)。另有一条单独的路径通往 api.anthropic.com(仅限 Claude Code):其他 Claude 模型经由这条路径,使用你自己的登录。

你不需要手写配置。在控制台的 Connect 中选好客户端、模型和密钥,它就会写出可直接粘贴的文件。下面每个页面都用占位符展示同样的文件,并说明哪些功能可用。

客户端协议支持情况
Claude CodeAnthropic Messages完全支持
Anthropic SDKAnthropic Messages完全支持
OpenCodeOpenAI Chat Completions仅限本地模型
AiderOpenAI Chat Completions仅限本地模型
Grok CLIOpenAI Chat Completions仅限本地模型
OpenAI SDKOpenAI Chat Completions仅限本地模型
ContinueOpenAI Chat Completions仅限本地模型
ClineOpenAI Chat Completions仅限本地模型
CursorOpenAI Chat Completions仅限本地模型
Codex CLIOpenAI Responses仅限本地模型

没有你的客户端?请在 GitHub Discussions 中提出。