流式输出超时怎么排查

最后更新:

区分服务端超时、无 HTTP 响应和 HTTP 200 后断流,记录首片段与结束状态,核对代理缓冲并先保留部分结果。

按 HTTP 状态与 error.code 分流

客户端弹窗、HTTP 状态和 JSON 错误码应一起核对。以下状态是分流线索,最终以该请求返回的结构与日志为准。

HTTPerror.code / 现象下一步
504model_service_timeout记录服务端超时与请求 ID;确认已接收的片段和工具执行结果,再决定是否重新请求。
无 HTTP 响应缺失或需另查若只有 APITimeoutError、连接错误或 SSE 中途终止,分开记录连接、首片段、片段间隔与总时长;它们不等于服务端返回 504。
200缺失或需另查已收到 HTTP 200 仍可能断流;保存已收到的增量及 finish_reason,检查代理缓冲和客户端读取超时。

安全采集一次最小诊断

这段代码关闭 SDK 自动重试,只输出状态、错误码与请求 ID;它不会读取或打印账户余额。请保留原模型复现,诊断确认后再修配置。

import os
from openai import OpenAI, APIStatusError, APIConnectionError, APITimeoutError

client = OpenAI(api_key=os.environ["KKAI_API_KEY"],
                base_url="https://api.kkaiapi.com/v1", max_retries=0, timeout=120)
try:
    r = client.chat.completions.create(
        model="claude-sonnet-5-5", messages=[{"role": "user", "content": "请只回复 pong"}])
    print("ok", r.model)
except APIStatusError as exc:
    try:
        payload = exc.response.json()
        error = payload.get("error", {}) if isinstance(payload, dict) else {}
        error_code = error.get("code") if isinstance(error, dict) else None
    except ValueError:
        error_code = None
    print({"status": exc.status_code, "code": error_code,
           "request_id": exc.response.headers.get("x-request-id")})
except (APIConnectionError, APITimeoutError) as exc:
    print({"transport_error": type(exc).__name__})

区分响应慢与代理缓冲

用同一模型的短输入对照,检查客户端 timeout、反向代理读取超时和 SSE 缓冲。只收到角色或 usage 的空 choices 片段也应安全处理。先保存部分答案,再核对日志;输出中断不代表整次请求未计费。

保留可分享的诊断信息

只记录时间、模型 ID、请求路径、HTTP 状态、error.code 和请求 ID。分享截图前遮掉 Authorization、x-api-key、Cookie、完整 Key、支付信息与请求中的私人内容;不要开启会输出请求头的调试日志。

常见问题

可以直接重复请求吗?

配置、权限或额度错误先修正再重试。临时错误采用有上限的退避;超时和断流先确认已执行结果,异步视频保留 task_id 查询。