对话
在控制台里和任意对话模型交谈,调整系统提示词、温度和输出上限,并查看每条回复的速度和费用。
从侧边栏的 在线体验 分组打开对话。它通过 Chat Completions API 与对话模型交谈,流式输出每条回复,并显示速度和费用。和其他在线体验调用一样,调用从余额扣费,并出现在日志中。
设置#
设置位于左侧面板。在手机上,模型选择器固定在顶部,其余设置点 选项 打开。
| 设置 | 作用 |
|---|---|
| 模型 | 要交谈的对话模型。账户中有 Claude Sonnet 5.5 时默认选它。只列出支持 Chat Completions 的模型;图像模型在图像中。 |
| 渠道分组 | 自动 — 最优可用 由 Lovely Router 选择。选一个分组就把请求发到该分组,和代码中的 x-lovely-group 请求头作用相同。见渠道分组。 |
| 系统提示词 | 可选,在对话之前发送的指令,最多 20,000 个字符。 |
| 温度 | 0 到 2,步长 0.1。默认 0.7。 |
| 最大输出 Token | 留空则使用模型自身的上限(模型默认)。推理模型会先把输出 token 花在思考上,所以上限太小可能让回答被截断或为空。 |
设置下方的 价格 显示该模型每百万输入和输出 token 的价格,已计入你所选渠道分组的倍率。
运行在我们自己 GPU 上的模型,会在选择器下方显示 休眠中、启动中 或 已就绪 徽标。见休眠中、启动中、已就绪。
帮我写#
系统提示词 输入框的角落有一个写作助手。输入框为空时显示 帮我写;有内容后显示 优化。它的菜单里还有 改短、重新写一版 和 写作模型,写作模型在控制台所有“帮我写”中共用。文字会流式写入输入框,撤销 可以恢复你原来的内容,并会显示这次调用的费用。每次使用都是一次对话调用,从余额扣费。
发送消息#
在底部的输入框中输入,按 发送 或 Enter。Shift+Enter 换行。回复流式输出时,发送 会变成 停止,点它会让回复停在当前位置。
第一个 token 到达前,你会看到 思考中… 和秒数计时。推理模型的思考内容显示在回答上方的 思考过程 区域;它默认展开,可以折叠。
每个请求都会发送目前为止的整段对话,系统提示词在最前面,所以模型能看到完整的历史。页头的 清空 开始新的对话。对话只保存在页面中:离开或刷新页面就会重新开始。
速度和费用#
每条回复下方显示:
| 数值 | 含义 |
|---|---|
| TTFT | 首个 token 的延迟。 |
| 总耗时 | 从发送到最后一个 token。 |
| tok/s | 首个 token 之后每秒输出的 token 数。 |
| in → out tok | 模型报告的输入和输出 token 数。 |
| ≈ $ | 根据 token 数和显示的价格估算的费用。 |
确切的费用以及处理这次调用的渠道,见日志。请求失败时,这些数值的位置会显示错误信息。
获取代码#
页头的 查看代码 会显示一条 POST /v1/chat/completions 的 cURL 命令,包含当前的模型、温度、输出上限、系统提示词和你正在输入的消息(或 Hello)。它不包含之前的对话轮次。把 $LOVELY_API_KEY 换成 API 密钥中的一个密钥即可运行。隐藏代码 关闭它。
想在自己的代码中实现同样的功能(包括流式输出和用量),请看 OpenAI Chat Completions 和流式输出。