渠道分组
渠道分组是为模型提供服务的容量池,拥有自己的价格倍率。你可以把密钥绑定到某个分组,或为每个请求单独选择分组,并查看每次调用由哪个分组提供服务。
渠道是模型的一个容量来源。渠道分组是一组以同一价格倍率提供相同模型的渠道。每次调用都恰好由一个分组提供服务,响应会告诉你是哪一个。
你不必选择分组。密钥默认使用 自动,会把每个请求发往该模型当前最优的可用分组。如果你希望某个密钥的每次调用都以相同方式提供服务和计费,再选择分组。
可用分组#
| 分组 ID | 名称 | 提供的模型 | 倍率 |
|---|---|---|---|
claude-value | Claude · Value | Claude 模型 | ×1.00 |
gpt-value | GPT · Value | GPT 模型 | ×1.00 |
gemini-value | Gemini · Value | Gemini 模型 | ×1.00 |
creative-hosted | Creative · Hosted | 专用 GPU 上的自托管模型 | ×1.00 |
claude-api | Claude · API | Claude 模型——需主动选择 | ×1.08 |
三个 Value 分组都汇聚了多个渠道的容量以提升吞吐,并让每个对话始终留在一个渠道上,使其提示缓存保持有效。GET /v1/models 的 groups 字段列出了为每个模型提供服务的分组,模型广场则显示每个分组及其当前倍率。creative-hosted 在专用 GPU 上运行自托管模型:每个模型只有一个渠道,空闲后的第一个请求需要等待模型唤醒。
claude-api 是一个拥有独立渠道的 Claude 分组。它是需主动选择的分组:使用 Auto 的密钥永远不会用到它,只有绑定到它的密钥,或在 x-lovely-group 中指定它的请求才会使用。和其他指定分组一样,故障转移始终留在该分组内。
将密钥绑定到分组#
在 API 密钥页面创建密钥时,选择一个 渠道分组。使用该密钥发出的每个请求都由这个分组提供服务,无论请求本身如何指定。分组在密钥的整个生命周期内固定不变:如需更改,请创建一个新密钥。
以 自动 创建的密钥可以按请求选择分组。
按请求选择分组#
发送带有分组 ID 的 x-lovely-group 请求头。它适用于所有 LLM 端点和所有 API 格式。
curl https://lovelyrouter.com/v1/chat/completions \
-H "Authorization: Bearer $LOVELY_API_KEY" \
-H "x-lovely-group: gpt-value" \
-H "content-type: application/json" \
-d '{"model": "gpt-6.1-sol", "messages": [{"role": "user", "content": "Hi"}]}'Anthropic SDK 也接受同样的 default_headers / defaultHeaders 选项。
| 情况 | 结果 |
|---|---|
| 密钥已绑定分组 | 忽略该请求头,以密钥的分组为准。 |
| 未知的分组 ID | 400,消息为 Unknown group '<id>'。 |
| 该分组不以你的 API 格式提供该模型 | 404,消息为 Model '<id>' is not served in <format> format in group '<group>'. |
查看由哪个分组提供服务#
每个成功的响应都带有两个响应头:
| 响应头 | 示例 |
|---|---|
x-lovely-group | claude-value |
x-lovely-channel | Pooled%20capacity(该分组的渠道标签,经过 URL 编码) |
日志会显示每次调用的分组,并可按分组筛选。
故障转移不会离开分组#
当某个渠道失败或已满时,网关会在另一个渠道上重试请求。如果你的密钥已绑定分组,或你发送了 x-lovely-group,所有重试都会留在该分组内,因此价格和分组绝不会在你不知情的情况下改变。使用自动且未发送该请求头时,重试可能使用任何提供该模型的分组;x-lovely-group 响应头始终报告实际作答的那个分组。
何时会发生重试,请参阅限流与故障转移。
各分组的价格#
一次调用按模型标价乘以服务该调用的分组倍率计费。使用 Auto 的密钥支付标价(它们使用的分组都是 ×1.00);claude-api 为 ×1.08。完整的计算方式请参阅模型与价格。