LiteLLM 接入 kkaiapi

最后更新:

用 openai/模型ID、api_base 和安全读取的 Key 调用 KK,区分 LiteLLM Python 客户端与 Proxy 的地址、别名和凭据。

区分 LiteLLM 客户端与 Proxy 两层

Python 客户端用 openai/模型ID 选择兼容协议,api_base 指向 KK,api_key 从环境读取。如果运行 LiteLLM Proxy,应用连接的是你的 Proxy;KK 地址与凭据应配置在 Proxy 的模型服务配置,不能把两层 Key 混填。

配置项值
协议OpenAI Chat Completions
Base URLhttps://api.kkaiapi.com/v1
模型 IDclaude-sonnet-5-5
凭据从当前工具进程的安全配置读取

起步命令或客户端示例

配置完成后用一个短任务核对实际模型 ID 与 KK 调用记录,再单独验证工具往返、图片输入等所需能力。聊天成功只能证明该聊天路径可用。

import os
from litellm import completion

r = completion(model="openai/claude-sonnet-5-5",
    api_base="https://api.kkaiapi.com/v1", api_key=os.environ["KKAI_API_KEY"],
    messages=[{"role": "user", "content": "请只回复 pong"}])
print(r.choices[0].message.content)

核对实际生效的工具路径

Proxy 的 model_name 是应用使用的别名,litellm_params.model 才是带 openai/ 前缀的目标模型。先验证一个映射,不同时启用客户端与网关多层重试;本地估算费用与 KK 实际账单分别核对。

配置依据与能力验证

配置完成后用一个短任务核对实际模型 ID 与 KK 调用记录,再单独验证工具往返、图片输入等所需能力。聊天成功只能证明该聊天路径可用。

配置字段依据litellm 官方说明;工具界面可能随版本变化,所需能力应在已安装版本中核对。

常见问题

为什么 API 请求成功,工具仍不能完成任务?

继续核对工具实际选择的 provider、模型、能力声明和运行进程的网络出口;工具调用、文件编辑和图片入口应分别验证。