1 アカウントの Claude API レート制限を超えてスケールする

1. リクエストをプール全体に分散する

   各チャネルグループ（claude-value、gpt-value、gemini-value）は複数のチャネルの容量をプールし、新しい会話をそれらに分散します。エラーが増えたチャネルや、普段よりかなり遅く応答するチャネルは、回復するまで割り当てが減ります。失敗が続くチャネルは、しばらくローテーションから外されます。

2. バーストは失敗せずに待つ

   チャネルが満杯のときは、ゲートウェイがそのモデルを提供するほかのチャネルを試します。すべてが満杯なら、最も早く空くと見込まれるチャネルのキューにリクエストを入れ、最大 10 秒待ちます。受け付けられたリクエストには、待ち時間を示す x-lovely-queued-ms が付きます。

3. 失敗は自動で再試行される

   チャネルがタイムアウトした、429 や 5xx を返した、あるいはストリームの最初のトークンより前に失敗したリクエストは、別のチャネルで再試行されます（最大 3 回まで試行）。ストリームは最初のトークンが届くまで（最大 15 秒）保留されるため、早い段階の失敗が途切れたストリームとして届くことはありません。

429 で拒否されたリクエストは課金されません。エラーボディは、使っている API の形式に従います。

429 や 502 は、問題がすでに複数回の試行を超えて続いたことを意味します。指数バックオフとジッターを付けてさらに数回再試行し、retry-after に従ってください。Anthropic と OpenAI の SDK は既定で 2 回再試行します。バッチジョブではこの回数を引き上げてください。

# --retry covers 429 and 5xx and honors retry-after
curl --retry 5 --retry-max-time 120 https://lovelyrouter.com/v1/chat/completions \
  -H "Authorization: Bearer $LOVELY_API_KEY" \
  -H "content-type: application/json" \
  -d '{"model": "gpt-6.1-sol", "messages": [{"role": "user", "content": "Hi"}]}'

ストリームの場合は、コンテンツが届く前にエラーが来たときだけ再試行してください。トークンが流れ始めた後の失敗は、ストリーム内のエラーイベントとして届きます。

各キーには、1 分あたりのリクエスト数の制限（直近 60 秒間で計算）と、最大同時リクエスト数の制限（開いているストリームは終了するまでカウント）を設定できます。どちらも既定ではオフです。バッチジョブが本番環境の枠を使い切らないよう、それぞれ専用の制限を持つ別々のキーを使ってください。キーには利用上限、モデルの許可リスト、有効期限も設定できます。API キーを参照してください。

各会話はプロンプトキャッシュを持つチャネルに固定され、各プールの一部は固定されたターン用に確保されています。そのため、ピーク時でも進行中のセッションはキャッシュ料金を維持できます。固定先のチャネルが満杯のときは、ターンは少しだけ待ち（短いプロンプトなら約 1 秒、長いプロンプトなら最大 10 秒）、それでも空かなければ別のチャネルに移って新しいキャッシュを書き込みます。プロンプトキャッシュを参照してください。

キーの既定は 自動 で、各リクエストをそのモデルにとって最適な利用可能グループに送ります。再試行では、そのモデルを提供するどのグループが使われることもあります。キーを 1 つのグループに紐付けるか、x-lovely-group ヘッダーを送ると、すべての再試行がそのグループ内にとどまるため、知らないうちに料金が変わることはありません。レスポンスには、処理したグループとチャネルが示されます。チャネルグループを参照してください。

ステータスページでは、各チャネルグループの直近 24 時間の稼働状況を 1 時間単位で確認できます。データは 1 分ごとに更新されます。モデル一覧では、すべてのモデルを現在の提供状況とともに確認できます。

呼び出しはトークン単位（入力、出力、キャッシュ読み取り、キャッシュ書き込み）で課金され、モデルの定価に、処理したグループの倍率を掛けた金額になります。現在稼働中のグループはすべて ×1.00 のため、支払うのは定価です。キューで待っているリクエストは、実行されるまで課金されません。429 で拒否されたリクエストやエラーで失敗したリクエストは無料です。キャンセルしたストリームは、生成された分だけ課金されます。すべてサブスクリプションなしのプリペイド残高から支払われます。料金を参照してください。