使用场景
聊天产品
逐字展示回复,降低用户等待感。
代码生成
边生成边展示代码,适合 IDE 和命令行工具。
长文本生成
输出较长时避免用户等待完整响应。
Agent 任务
将模型输出逐步交给前端、日志或任务编排层。
请求示例
在 OpenAI 兼容格式中,将stream 设置为 true。
Node.js 示例
处理建议
- 前端按增量内容追加渲染。
- 后端保留超时和重试策略。
- 日志中不要记录完整 API Key。
- 如果你需要 JSON 严格结构,优先使用非流式请求验证格式。
Chat completions
查看会话模型接口参数。
