LiteLLM 接入 kkaiapi
最后更新:
用 openai/模型ID、api_base 和安全读取的 Key 调用 KK,区分 LiteLLM Python 客户端与 Proxy 的地址、别名和凭据。
区分 LiteLLM 客户端与 Proxy 两层
Python 客户端用 openai/模型ID 选择兼容协议,api_base 指向 KK,api_key 从环境读取。如果运行 LiteLLM Proxy,应用连接的是你的 Proxy;KK 地址与凭据应配置在 Proxy 的模型服务配置,不能把两层 Key 混填。
| 配置项 | 值 |
|---|---|
| 协议 | OpenAI Chat Completions |
| Base URL | https://api.kkaiapi.com/v1 |
| 模型 ID | claude-sonnet-5-5 |
| 凭据 | 从当前工具进程的安全配置读取 |
起步命令或客户端示例
配置完成后用一个短任务核对实际模型 ID 与 KK 调用记录,再单独验证工具往返、图片输入等所需能力。聊天成功只能证明该聊天路径可用。
import os
from litellm import completion
r = completion(model="openai/claude-sonnet-5-5",
api_base="https://api.kkaiapi.com/v1", api_key=os.environ["KKAI_API_KEY"],
messages=[{"role": "user", "content": "请只回复 pong"}])
print(r.choices[0].message.content)核对实际生效的工具路径
Proxy 的 model_name 是应用使用的别名,litellm_params.model 才是带 openai/ 前缀的目标模型。先验证一个映射,不同时启用客户端与网关多层重试;本地估算费用与 KK 实际账单分别核对。
配置依据与能力验证
配置完成后用一个短任务核对实际模型 ID 与 KK 调用记录,再单独验证工具往返、图片输入等所需能力。聊天成功只能证明该聊天路径可用。
配置字段依据litellm 官方说明;工具界面可能随版本变化,所需能力应在已安装版本中核对。
常见问题
为什么 API 请求成功,工具仍不能完成任务?
继续核对工具实际选择的 provider、模型、能力声明和运行进程的网络出口;工具调用、文件编辑和图片入口应分别验证。