La opción de Cursor para sustituir la URL base de OpenAI, para chatear con un modelo servido.
Adónde va una solicitud de Cursor: las dos opciones que configura Connect, el warden en medio y, después, una copia del modelo por GPU.
Descripción:Cursor envía sus solicitudes a LM Warden, con Override OpenAI Base URL configurada con la dirección del warden y una clave del warden en OpenAI API Key. LM Warden comprueba la clave, recibe la solicitud por OpenAI Chat Completions, la pone en cola según la prioridad de la clave y se la pasa al enrutador de réplicas, que mantiene cada sesión en la réplica que ya tiene su caché, con una copia del modelo por GPU.
Protocolo
OpenAI Chat Completions
Compatibilidad
Solo modelos locales
Las solicitudes salen de los servidores de Cursor, así que la URL de este warden debe ser accesible desde internet; un warden en la red local o en localhost no funcionará. Las claves personalizadas solo funcionan con modelos de chat: el autocompletado con Tab sigue usando los modelos propios de Cursor, y Agent con los modelos de Cursor rechaza las claves personalizadas. La documentación actual de Cursor ya no describe la opción Override OpenAI Base URL; se conoce por respuestas del personal de Cursor en su foro.
Requisitos
Los servidores de Cursor llaman a esta URL, así que debe ser accesible desde internet.
Configuración
En la consola, Connect genera estos archivos con la dirección de tu warden, tu clave y el modelo que hayas elegido. Aquí aparecen con marcadores de posición.
Chatear con un modelo local
En Cursor Settings > Models, agrega el nombre del modelo como modelo personalizado.
Configuración
OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name