API генерации музыкальных клипов:
на входе песня, на выходе клип

1. Отправьте песню и описание

   Загрузите файл MP3, WAV, FLAC, OGG или M4A (до 60 МБ) и при желании story, style, character и lyrics. Все поля необязательны: без описания режиссёр сам придумает сюжет и исполнителя по тексту песни.

2. Монтаж в ритм, кастинг один раз

   Песня делится на сцены, которые заканчиваются на сильных долях, примерно по 5 секунд, а текст расшифровывается по сценам. Чат-модель в роли режиссёра один раз описывает исполнителя, а модель изображений рисует для каждого образа лист персонажа (анфас, профиль, со спины), поэтому во всех сценах один и тот же человек.

3. Режиссура и рендер сцена за сценой

   Режиссёр пишет для каждой сцены кадр по вашему описанию и её фрагменту текста, с движением камеры и светом. Каждая сцена рендерится под управлением своего фрагмента песни: губы исполнителя следуют за словами, а движение — за музыкой.

4. Один mp4 под ваш трек

   Сцены склеиваются по порядку поверх оригинальной песни. Каждый клип можно смотреть сразу после рендера, а готовое видео доступно для скачивания 7 дней.

curl https://lovelyrouter.com/v1/videos/music \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -F model=ltx-music-video \
  -F song=@song.mp3 \
  -F story="A night drive through a neon city; she leaves the old town behind and reaches the sea at dawn" \
  -F style="Cinematic 35 mm film, teal and orange, light rain, shallow depth of field" \
  -F character="A woman in her twenties with short black hair, a red leather jacket and silver hoop earrings" \
  -F size=16:9 \
  -F consent=true

Запрос сразу отвечает 202 с объектом музыкального клипа. Опрашивайте GET /v1/videos/music/{id}?wait=120, чтобы узнать status, progress и состояние сцен, а когда статус станет completed, скачайте результат через GET /v1/videos/music/{id}/content. В руководстве по музыкальным клипам тот же процесс показан на Python и Node.js.

Обе модели принимают песни от 5 секунд до 6 минут, тарифицируют не меньше 15 секунд и рендерят с частотой 24 кадра/с. В каждом запросе нужно указать consent: true, чтобы принять условия модели: условия LTX или условия MiniMax H3, которые не разрешают использование в ЕС, Великобритании, Южной Корее и США.

Вы платите за секунду песни: $0.06 с ltx-music-video, так что песня на 3½ минуты стоит $12.6; $0.13 с minimax-h3-music-video. Вызовы режиссёра и изображения персонажей (обычно по одному на образ плюс по одному на сцену) оплачиваются отдельно по ценам этих моделей. Когда длина песни известна, её стоимость резервируется на предоплаченном балансе, а видео рассчитывается одним списанием в логах. Если видео не получилось по нашей вине, плата за него не взимается. Цены всех моделей — на странице цен.

Используйте песни, которые принадлежат вам или на которые у вас есть права, и людей, которых вам разрешено изображать. Видео должны соответствовать условиям модели и Правилам допустимого использования. Готовые видео хранятся 7 дней, затем удаляются; скачайте то, что хотите сохранить.