Перевизначення базової URL-адреси OpenAI в Cursor для чату з моделлю, що обслуговується.
Куди йде запит від Cursor: два налаштування, які записує Connect, LM Warden посередині, а далі по одній копії моделі на GPU.
Текстовий опис:Cursor надсилає запити до LM Warden: Override OpenAI Base URL вказує на LM Warden, а OpenAI API Key містить ключ LM Warden. LM Warden перевіряє ключ, приймає запит у форматі OpenAI Chat Completions, ставить його в чергу за пріоритетом ключа й передає маршрутизатору реплік, який тримає кожен сеанс на тій репліці, де вже є його кеш (по одній копії моделі на кожен GPU).
Протокол
OpenAI Chat Completions
Підтримка
Лише локальні моделі
Запити надходять із серверів Cursor, тож URL-адреса цього LM Warden має бути доступна з інтернету; LM Warden у локальній мережі чи на localhost не працюватиме. Власні ключі працюють лише з моделями чату: доповнення за Tab і далі використовує власні моделі Cursor, а Agent з моделями Cursor відхиляє власні ключі. Поточна документація Cursor більше не описує налаштування Override OpenAI Base URL; про нього відомо з відповідей співробітників Cursor на форумі.
Вимоги
Сервери Cursor звертаються до цієї URL-адреси, тож вона має бути доступна з інтернету.
Налаштування
У консолі Connect записує ці файли з адресою вашого LM Warden, вашим ключем і вибраною моделлю. Тут вони наведені із заповнювачами.
Чат із локальною моделлю
Cursor Settings > Models, потім додайте назву моделі як власну модель.
Налаштування
OpenAI API Key: vw_YOUR_KEY
Override OpenAI Base URL: https://your-warden/v1
Custom model: your-served-model-name