LiteLLM

LiteLLM

LiteLLM

LLM Gateway / Proxy，统一接口调用 100+ LLM API。支持负载均衡、限流、成本追踪、模型回退。 ⭐ 45.7k · BerriAI/litellm

概述

LiteLLM 是目前最流行的 LLM 网关方案。与 Portkey 定位类似但更偏向自托管 Proxy， 而非 SaaS 平台。提供 OpenAI 兼容 API，后端可切换任意模型提供商。

核心能力

能力说明
统一 APIOpenAI 格式调用 100+ LLM（OpenAI/Anthropic/Google/DeepSeek 等）
负载均衡多 API Key 轮询/优先级路由
成本控制按模型/用户/API Key 限流、预算管理
模型回退主模型失败时自动降级到备选模型
监控请求日志、延迟追踪、失败统计
自托管Docker 部署，完全控制数据

典型用法

# Proxy 模式：启动后替代 OpenAI API
# docker run -p 4000:4000 ghcr.io/berriai/litellm:main


# SDK 模式：直接调用
from litellm import completion


response = completion(
    model="gpt-4o",           # OpenAI
    messages=[{"role": "user", "content": "Hello"}]
)


# 切换模型只需改名字符串
response = completion(
    model="claude-3-opus-20240229",  # Anthropic
    messages=[{"role": "user", "content": "Hello"}]
)

与 Portkey 对比

维度LiteLLMPortkey
⭐45.7k未公开（新项目）
部署Docker 自托管SaaS / 自托管
协议OpenAI 兼容OpenAI 兼容
强项Proxy 功能全、社区大可观测性、Guardrails
适用需要完整网关+自托管需要可观测性+SaaS

两者可以互补：LiteLLM 做路由/负载均衡，Portkey 做监控/可观测性。

相关