流式输出 API

最后更新:

提供真正的 Chat Completions 流式示例,处理空 choices 和 delta 片段,核对完成状态、代理缓冲、客户端超时与断流结果。

按 SSE 增量消费 Chat Completions

同一个聊天路径中,stream=true 返回增量事件,stream=false 返回最终 JSON。内容位于 choices[].delta.content,可能有空 choices、只有角色或 usage 的片段;不能假定每片都有文字。

项目合同
路径POST /v1/chat/completions
请求stream: true
内容choices[].delta.content
完成检查 finish_reason 与流结束;原始 SSE 包含 data: [DONE]

最小请求示例

凭据从 KKAI_API_KEY 环境变量读取。示例是请求合同,运行后需核对实际响应和用量。

import os
from openai import OpenAI

client = OpenAI(api_key=os.environ["KKAI_API_KEY"],
                base_url="https://api.kkaiapi.com/v1", max_retries=0, timeout=120)
r = client.chat.completions.create(
    model="gpt-6.1-sol",
    messages=[{"role": "user", "content": "请只回复 pong"}],
    stream=True,
)
for chunk in r:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

长连接与输出完整性

SDK 负责 SSE 解析。原始 HTTP 客户端必须按事件边界解析,不能把每个 TCP 数据块当成完整 JSON。检查客户端读取超时与代理缓冲,记录首片段、总时长与结束状态。

断流后先保留部分结果

SSE 中途断开不等于模型未执行或未计费。记录请求 ID 与已收到的文本,核对日志后决定是否重新请求;Agent 工具和付费媒体提交尤其要防止重复副作用。

常见问题

本页示例代表已经实测成功吗?

示例说明当前请求结构与配置方式。请在自己的运行环境核对响应、模型 ID 与用量;模型快照和文档不能替代一次真实业务验收。