LiteLLM 是什么？ 核心功能 值不值得用？ 使用建议 适合谁用？ LiteLLM 是一个开源的 LLM 网关与 Python SDK，解决的是一个很实际的问题：当你要用 OpenAI、Anthropic、Azure、Bedrock、Gemini 等多家模型时，每家接口格式、错误结构都不一样，接起来很头疼。LiteLLM 把所有这些都统一成 OpenAI 的格式——你用同一套 completion() 调用，只要改个 model 名字（比如 openai/gpt-5、anthropic/claude-sonnet-4-5、ollama/llama2），就能在 100+ 模型之间切换。 它被 Netflix、Lemonade 等团队的 GenAI 平台用来给开发者「Day 0」地提供模型访问能力，核心卖点是统一接口 + 稳定性（重试/回退）+ 成本可观测。 1. 统一 OpenAI 格式调用 100+ 模型 无论是 OpenAI、Azure、Bedrock、Vertex、Anthropic、Ollama 还是 OpenRouter，都通过一致的函数签名调用，输出格式也统一，迁移 provider 几乎不用改业务代码。 2. LLM 网关（Proxy Server） 除了 Python SDK，LiteLLM 还提供中心化网关：带认证授权、虚拟密钥、多租户消费追踪、按 key/团队/组织计费，配合 Admin UI 做监控。适合「平台团队给很多开发者发模型权限」的场景。 3. 重试、回退与负载均衡 某个 provider 限流或宕机时，LiteLLM 能在多个部署/provider 之间自动回退（Failover），并对 RPM/TPM 做追踪与冷却重试，显著提升线上可用性。
- 一套接口打天下，切换模型成本极低
- 重试/回退 + 负载均衡，生产可用性更好
- 消费追踪与预算控制开箱即用，适合多团队
- SDK 与网关两种形态，灵活
- 被多家大型团队验证过
优点
- + 一套接口调用 100+ 模型，切换 provider 几乎零成本
- + 内置重试/回退与负载均衡，提升可用性
- + 细粒度消费追踪与按 key/团队预算控制
- + 提供代理服务器（Proxy）与 Python SDK 两种形态
- + 被多家大型团队用于生产环境
缺点
- - 网关模式需要自行部署与运维
- - 企业版高级功能（SSO、审计等）需付费
- - 多 provider 行为差异仍需关注
LiteLLM 是免费的吗？
LiteLLM 开源免费，可自托管使用；企业版提供 SSO、审计日志、定制化 SLA 等高级能力，需付费。
LiteLLM 能调用哪些模型？
支持 OpenAI、Azure、Bedrock、Google、Anthropic、Ollama、OpenRouter 等 100+ 家 provider，均以统一的 OpenAI 格式调用。
LiteLLM 和直接用各家的 SDK 有什么区别？
直接用各家 SDK 需要适配不同接口与错误格式；LiteLLM 把它们统一成 OpenAI 格式，并提供重试/回退、负载均衡与消费追踪，适合多模型生产环境。
LiteLLM 支持本地模型吗？
支持。通过 ollama/llama2 这类 provider 前缀即可把本地 Ollama 模型接入 LiteLLM 的统一接口。