Размещённые модели

Некоторые модели с открытыми весами не предлагает ни один API-провайдер или предлагает только с фильтром контента. Lovely Router запускает такие модели на собственных GPU и обслуживает их в группе каналов creative-hosted. Вы вызываете их как любую другую модель: те же ключи, тот же баланс, те же эндпоинты.

Доступные модели#

Цены — на маркетплейсе и в GET /v1/models.

Видеомодели тоже работают на наших собственных GPU, и у каждой есть своё руководство: замена персонажа, живое видео и музыкальные клипы. То же относится к моделям синтеза речи qwen3-tts и zonos2: см. Синтез речи.

Первый запрос после простоя#

Размещённая модель засыпает, если ею никто не пользовался 2 минуты. Следующий запрос будит её и ждёт пробуждения: обычно 10–30 секунд до первого токена, иногда до пары минут. После этого модель отвечает с обычной скоростью и не засыпает, пока продолжают приходить запросы.

Повторять запрос не нужно: шлюз удерживает его, пока модель не поднимется. Задайте клиенту тайм-аут не меньше 3 минут для первого вызова. Если модель не проснётся примерно за 2½ минуты, вы получите 502, после которого запрос можно повторить.

Каждая размещённая модель работает на основном наборе GPU и резервном. Если в течение примерно 35 секунд ни один основной GPU не освободился, запрос переходит на резервный набор, который тоже просыпается за секунды. Неудачный запрос не переносится к другому провайдеру, как это происходит в других группах.

Изображения#

z-image-turbo-nsfw-v2 принимает те же запросы на генерацию, что и другие модели изображений, по собственной фиксированной цене за изображение:

• size: 1024x1024, 1536x1024, 1024x1536, 1536x1536 или любой WIDTHxHEIGHT до 1536 пикселей по длинной стороне, кратный 16. auto или отсутствие размера даёт 1024x1024. Бо́льшие размеры отклоняются с 400.
• Прогретая модель возвращает изображение 1024×1024 примерно за 5 секунд, 1536×1536 — примерно за 15.
• quality ни на что не влияет. Каждое изображение использует новое случайное зерно.
• Модель только генерирует: /v1/images/edits и референсные изображения возвращают 400.

moss-image-sft и moss-image-nsfw принимают те же запросы на генерацию с размерами до 1024 пикселей по длинной стороне (кратными 16; auto даёт 1024x1024) по собственной фиксированной цене за изображение. Они медленнее: прогретой модели нужно около 50 секунд на изображение moss-image-sft и около 30 секунд на moss-image-nsfw. Они тоже только генерируют.

С параметром n размещённая модель создаёт изображения одно за другим на уже проснувшемся GPU, поэтому время складывается: четыре изображения z-image-turbo-nsfw-v2 размером 1024×1024 занимают около 20 секунд после пробуждения модели, два изображения moss-image-nsfw — около минуты.

Мышление#

По умолчанию dongfangshuo-27b-v2 отвечает сразу, как и рекомендуют её авторы для художественных текстов. Чтобы модель сначала порассуждала, включите мышление в запросе:

{
  "model": "dongfangshuo-27b-v2",
  "messages": [{"role": "user", "content": "…"}],
  "chat_template_kwargs": {"enable_thinking": true}
}

Рассуждения возвращаются в message.reasoning_content (при потоковой передаче — delta.reasoning_content), отдельно от ответа.

Параметры сэмплирования#

Значения по умолчанию: temperature 0.8, top_p 0.9, top_k 50, repeat_penalty 1.15 (подобраны авторами модели против повторов в длинных фрагментах). Отправьте любой из них, чтобы переопределить. Помимо параметров OpenAI, Chat Completions также принимает top_k, min_p и repeat_penalty.

Для длинной прозы просите примерно 2000–4000 китайских иероглифов на ответ и продолжайте глава за главой; структурированный промпт (сцена, персонажи и их состояние, предыдущая глава, шаги сюжета, обязательные детали) даёт вам наибольший контроль над моделью.

Контент#

Эти модели следуют промпту без отказов, свойственных их базовым моделям. Вы отвечаете за то, что генерируете с их помощью: художественные тексты только для взрослых. Правила допустимого использования действуют, как и для любой модели; сексуальный контент с участием несовершеннолетних запрещён всегда.