LiteLLM

一句话总结

统一多家大模型 API 的代理层，用一套 OpenAI 风格接口调用各家模型。

核心功能 / 特点

• 用统一格式调用上百种模型接口
• 可作为网关管理密钥与额度
• 支持回退、重试与花费统计

适用场景

• 在多模型之间切换而不改业务代码
• 集中管理团队的多家模型密钥

同类推荐

• LangChain —— 构建 LLM 应用的主流框架
• LlamaIndex —— 面向 RAG 的数据框架
• Langfuse —— LLM 可观测性与追踪平台
• promptfoo —— 提示词与模型输出测试工具