インストール前によく寄せられる質問。
LM Warden とは何ですか？
自分のハードウェア上の推論エンジンを取り巻くコントロール プレーンです。NVIDIA GPU を搭載した Linux ホストでは vLLM と llama.cpp を、Apple シリコン搭載 Mac ではベータ版アプリで MLX と llama.cpp を使います。HuggingFace からモデルを取得し、自分の GPU に読み込み、API キーを発行して、OpenAI 互換の /v1 エンドポイント経由で呼び出します。ブラウザーの UI では、モデルの読み込みと読み込み解除、エンジンのライブ ログ、チャットのプレイグラウンド、GPU とトークンの統計、API キーごとのページを扱えます。モデルを速くするものではなく、エンジンを改変することもありません。素のエンジンには含まれない部分を追加します。
どの GPU とオペレーティング システムで動きますか？
Linux と macOS です。Linux では、x86_64 ホスト上の NVIDIA GPU。最低要件は Turing (sm_75、RTX 20 シリーズの世代) です。ベース イメージには CUDA 13 が含まれており、これは Maxwell、Pascal、Volta のサポートを終了したため、GTX 1080 Ti、Titan X、V100 では動きません。Turing から Blackwell まで対応しており、Ada、Hopper、RTX 50 シリーズも含みます。macOS では、Apple シリコン (M1 以降) で、別の Mac アプリを通じて動作し、現在はベータ版です。macOS 14 以降向けのネイティブなメニュー バー アプリで、MLX と Metal ビルドの llama.cpp でモデルを実行し、同じ OpenAI 互換 API を提供し、同じダッシュボードを専用ウィンドウに表示します。lmwarden.com/download/mac から入手できます (約 110 MB、SHA-256 ファイル付き)。アドホック署名で公証されていないため、初回起動時に [システム設定] › [プライバシーとセキュリティ] › [このまま開く] で許可してください (macOS 14 では右クリック › [開く] でもかまいません)。既定ではループバックで待ち受け、自動更新はしません。次は Windows です。開発中ですが、時期は未定です。このリリースには ROCm、Intel GPU、CPU の経路はありません。AMD Radeon と Intel GPU はロードマップにあり、どちらを先にするかはプロジェクトの GitHub Discussions で寄せられるフィードバック次第です。一台の Linux マシン内の複数 GPU には対応していますが、一つのモデルを複数のマシンに分割することはできません。
既存の OpenAI クライアントはそのまま使えますか？
はい。/v1/* のゲートウェイは OpenAI 互換なので、base_url とキーを変更すれば、openai SDK、LangChain、OpenWebUI、独自のエージェントは変更なしで動きます。GET /v1/models は各モデルの max_model_len も報告するので、クライアントがコンテキスト ウィンドウを推測する必要はありません。OpenAI Responses API にしか対応していない Codex CLI も動きます。POST /v1/responses は、読み込んだモデル向けに Chat Completions に変換されます (ステートレスで、ローカルのみ。ルーターのルールは適用されません)。
Claude Code で使いつつ、Anthropic のアカウントも維持できますか？
はい。ANTHROPIC_BASE_URL を warden に向け、通常の claude のログインはそのままにして、warden のキーを X-LMWarden-Key として ANTHROPIC_CUSTOM_HEADERS に入れます。ルールは、Claude Code が要求するモデル名 (たとえば claude-haiku*) を GPU に読み込んだモデルに対応付けます。それ以外のモデル、それ以外の /v1 パスはすべて、自分のログインで Anthropic にバイト単位でそのまま渡されます。Claude Code 2.1.227 以降が必要で、既定ではオフです。何かが転送される前に、キーに 「May relay to Anthropic」 フラグが付いている必要があります。古いクライアントでもローカル専用モードは使えます。
Anthropic に warden のキーが、warden に Anthropic のログインが見えますか？
Anthropic に warden のキーが見えることはありません。キーは専用のヘッダーで送られ、リクエストが渡される前に取り除かれます。warden は Anthropic のログインを扱いますが、それは転送する必要があるからで、転送先は Anthropic だけです。エンジンに送られることもログに記録されることもなく、パススルーされたリクエストの内容は一切保存されず、God mode にも表示されません。
どの推論エンジンを使いますか？
Linux では、メインラインの vLLM v0.32.0 と llama.cpp b11719 をモデルごとに選び、改変せずに実行します。パッチを当てたイメージも、フォークも、モンキーパッチもありません。.gguf ファイルを選ぶと llama.cpp が選ばれます。llama.cpp は GGUF の量子化で大きなモデルを小さなカードに収め、古い GPU も役立てます。TensorRT-LLM、SGLang、Ollama のランタイムは同梱していません。Mac のベータ版は、既定のエンジンである MLX、または .gguf ファイル用の Metal ビルドの llama.cpp でモデルを実行し、vLLM はありません。
マシンの外に出ていくものはありますか？
Claude Code ルーターをオンにし、キーに「May relay to Anthropic」フラグを付けた場合を除き、ホストの外には何も出ていきません。その場合でも Anthropic に送られるのは、そのキーからのリクエストのうち、どのルールも GPU に送らない Claude モデル宛てのものだけで、ユーザー自身の Anthropic ログインが使われます。それ以外は何も送られません。アカウントも、ライセンス チェックも、アクセス解析もありません。このほかにスタックが外部と通信するのは、依頼したときだけです。重みを取得するための huggingface.co (HF_HUB_OFFLINE=1 でそれも止められます)、エンジン バージョンの選択画面を開いたときの Docker Hub、リリース イメージのレジストリです。レジストリは、オフラインやエアギャップ環境のインストールでは docker load で置き換えます。
プロンプトと応答は保存されますか？
既定では保存されません。グラフとキーごとの使用量の元になるリクエスト履歴はメタデータだけを保持し、プロンプトや生成テキストの列はありません。内容を取得できる診断機能が二つありますが、どちらもオンにしない限りオフです。God mode (VW_GODMODE_ENABLED) は一つのキーのトラフィックを表示する上限付きのメモリ内ビューで、コンテンツ ログ (VW_CONTENT_LOG_ENABLED) は指定したトークン ID についてだけディスクに書き込みます。
チームで API キーはどう機能しますか？
アプリや人ごとに専用の vw_ キーと専用のページがあります。優先度を P0 ～ P9 で設定でき (待機中の P9 リクエストは常に P8 リクエストより先に処理されます)、キーを一時停止すると、そのクライアントには 403 token paused が返り、実行中のリクエストは最後まで処理されます。猶予期間付きでローテーションすれば、その間は古いキーも引き続き使えます。リクエスト数、プロンプト トークン、生成トークンはキーとクライアント IP ごとに集計され、キューの待ち時間とレイテンシもキーごとに表示されます。コントロール API を操作するスクリプト、CI、エージェントは、管理者パスワードではなく別の vwa_ 管理者トークンを使います。
一つの GPU で複数のモデルを動かせますか？
いいえ。GPU 一つにつき読み込めるモデルは一つで、このルールはエンジンの起動前に適用されます。同じホストの別々のカードに別々のモデルを読み込むことはでき、vLLM のテンソル並列で一つのモデルを複数のカードに分割することもできます。
インストールには何が必要ですか？
Linux では、Docker、Docker Compose v2.24 以降、NVIDIA GPU、NVIDIA Container Toolkit を備え、Docker がイメージを保存する場所に約 40 GB の空きがあるホストが必要です。インストーラーはホストを確認し、GPU を選ばせ、シークレットを生成し、リリース イメージを取得して、スタックの起動を提案します。続いてブラウザーの初回実行ウィザードで、使用する GPU、HuggingFace トークン、管理者アカウントを尋ねられます。Apple シリコン搭載 Mac では、代わりにベータ版アプリをダウンロードします。Mac のセクションをご覧ください。
費用はいくらですか？
無料です。LM Warden は Apache-2.0 でライセンスされています。ホストされた API ではなく、自分で実行するソフトウェアです。ハードウェア、ドライバー、ディスク、電気は自分で用意し、ハードウェアを購入してしまえば、リクエストのコストはトークンごとの料金ではなく電気代です。