流式输出超时怎么排查
最后更新:
区分服务端超时、无 HTTP 响应和 HTTP 200 后断流,记录首片段与结束状态,核对代理缓冲并先保留部分结果。
按 HTTP 状态与 error.code 分流
客户端弹窗、HTTP 状态和 JSON 错误码应一起核对。以下状态是分流线索,最终以该请求返回的结构与日志为准。
| HTTP | error.code / 现象 | 下一步 |
|---|---|---|
| 504 | model_service_timeout | 记录服务端超时与请求 ID;确认已接收的片段和工具执行结果,再决定是否重新请求。 |
| 无 HTTP 响应 | 缺失或需另查 | 若只有 APITimeoutError、连接错误或 SSE 中途终止,分开记录连接、首片段、片段间隔与总时长;它们不等于服务端返回 504。 |
| 200 | 缺失或需另查 | 已收到 HTTP 200 仍可能断流;保存已收到的增量及 finish_reason,检查代理缓冲和客户端读取超时。 |
安全采集一次最小诊断
这段代码关闭 SDK 自动重试,只输出状态、错误码与请求 ID;它不会读取或打印账户余额。请保留原模型复现,诊断确认后再修配置。
import os
from openai import OpenAI, APIStatusError, APIConnectionError, APITimeoutError
client = OpenAI(api_key=os.environ["KKAI_API_KEY"],
base_url="https://api.kkaiapi.com/v1", max_retries=0, timeout=120)
try:
r = client.chat.completions.create(
model="claude-sonnet-5-5", messages=[{"role": "user", "content": "请只回复 pong"}])
print("ok", r.model)
except APIStatusError as exc:
try:
payload = exc.response.json()
error = payload.get("error", {}) if isinstance(payload, dict) else {}
error_code = error.get("code") if isinstance(error, dict) else None
except ValueError:
error_code = None
print({"status": exc.status_code, "code": error_code,
"request_id": exc.response.headers.get("x-request-id")})
except (APIConnectionError, APITimeoutError) as exc:
print({"transport_error": type(exc).__name__})区分响应慢与代理缓冲
用同一模型的短输入对照,检查客户端 timeout、反向代理读取超时和 SSE 缓冲。只收到角色或 usage 的空 choices 片段也应安全处理。先保存部分答案,再核对日志;输出中断不代表整次请求未计费。
保留可分享的诊断信息
只记录时间、模型 ID、请求路径、HTTP 状态、error.code 和请求 ID。分享截图前遮掉 Authorization、x-api-key、Cookie、完整 Key、支付信息与请求中的私人内容;不要开启会输出请求头的调试日志。
常见问题
可以直接重复请求吗?
配置、权限或额度错误先修正再重试。临时错误采用有上限的退避;超时和断流先确认已执行结果,异步视频保留 task_id 查询。