Выйдите за пределы лимитов Claude API одного аккаунта

1. Запросы распределяются по пулу

   Каждая группа каналов (claude-value, gpt-value, gemini-value) объединяет мощность нескольких каналов, и новые разговоры распределяются между ними. Канал, который выдаёт больше ошибок или отвечает заметно медленнее обычного, получает меньшую долю, пока не восстановится; канал, который продолжает отказывать, на время выводится из ротации.

2. Всплески ждут, а не падают

   Когда канал заполнен, шлюз пробует другие каналы, обслуживающие модель. Когда заполнены все, запрос встаёт в очередь к тому, который должен освободиться первым, не более чем на 10 секунд. Принятый запрос несёт заголовок x-lovely-queued-ms со временем ожидания.

3. Сбои повторяются за вас

   Запрос, канал которого истёк по таймауту, вернул 429 или 5xx либо отказал до первого токена потока, повторяется на другом канале, всего до трёх попыток. Потоки удерживаются до первого токена (не более 15 секунд), поэтому ранний сбой никогда не доходит до вас в виде оборванного потока.

Запрос, отклонённый с 429, не тарифицируется. Тела ошибок следуют формату вашего API.

429 или 502 означает, что проблема уже пережила несколько попыток. Повторите ещё несколько раз с экспоненциальной отсрочкой и случайным разбросом и соблюдайте retry-after. SDK Anthropic и OpenAI по умолчанию повторяют дважды; для пакетных заданий увеличьте это число:

# --retry covers 429 and 5xx and honors retry-after
curl --retry 5 --retry-max-time 120 https://lovelyrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -H "content-type: application/json" \
  -d '{"model": "gpt-6.1-sol", "messages": [{"role": "user", "content": "Hi"}]}'

В потоках повторяйте запрос, только если ошибка пришла до какого-либо контента: когда токены уже идут, сбой приходит как событие ошибки внутри потока.

Для каждого ключа можно задать лимит Запросов в минуту (скользящие 60 секунд) и Макс. число параллельных запросов (открытые потоки учитываются до своего завершения). По умолчанию оба выключены. Используйте отдельные ключи со своими лимитами, чтобы пакетное задание не вытесняло продакшен. Ключам также можно задать лимит расходов, список разрешённых моделей и срок действия; см. API-ключи.

Каждый разговор закреплён за каналом, где хранится его кеш промпта, и часть каждого пула зарезервирована для закреплённых ходов, поэтому идущие сессии сохраняют цены кеша даже в пик. Когда закреплённый канал заполнен, ход недолго ждёт его (около секунды для коротких промптов, до десяти для длинных), прежде чем перейти на другой канал и записать новый кеш. См. Кеширование промптов.

По умолчанию ключи используют режим Авто, который отправляет каждый запрос в лучшую доступную группу для его модели; повтор может пойти в любую группу, обслуживающую модель. Привяжите ключ к одной группе или отправляйте заголовок x-lovely-group, и каждый повтор останется внутри этой группы, так что цена никогда не изменится у вас за спиной. Ответы указывают группу и канал, которые их обслужили. См. Группы каналов.

Страница статуса показывает доступность каждой группы каналов по часам за последние 24 часа и обновляется каждую минуту. Список моделей показывает каждую модель с её текущей доступностью.

Вызов тарифицируется по токенам (вход, выход, чтение и запись кеша) по прейскурантной цене модели, умноженной на множитель группы, которая его обслужила. Сегодня у всех активных групп множитель ×1.00, так что вы платите прейскурантную цену. Запросы в очереди не тарифицируются, пока не выполнятся, а запросы, отклонённые с 429 или завершившиеся ошибкой, ничего не стоят. Отменённый вами поток оплачивается за то, что успело сгенерироваться. Всё списывается с предоплаченного баланса, без подписки; см. цены.