LLM 部署（DeepWiki 课程笔记）

LLM 部署（DeepWiki 课程笔记）

LLM 部署（Deployment）

来源：DeepWiki 对 mlabonne/llm-course 的 AI 生成文档。

概述

将 LLM 从实验模型变为生产服务，涉及模型服务、API 设计、扩展、监控、安全。

部署架构

User → Load Balancer → API Gateway
                            │
               ┌────────────┼────────────┐
               ▼            ▼            ▼
          Inference     Inference     Inference
            Server       Server       Server
               │            │            │
               └────────────┼────────────┘
                            ▼
                      Model Registry
                    (HuggingFace / S3)

服务框架对比

Serving API 设计

OpenAI 兼容 API（事实标准）

POST /v1/chat/completions
{
  "model": "llama-3.1-70b",
  "messages": [{"role": "user", "content": "Hello"}],
  "temperature": 0.7,
  "max_tokens": 1024,
  "stream": true
}

流式 vs 非流式

扩展策略

水平扩展（Horizontal Scaling）

Load Balancer ──→ Instance 1
               ├── Instance 2
               └── Instance 3

• 无状态设计：推理服务器本身无状态，扩展最友好
• KV Cache 共享：相同 prompt 前缀复用（如 vLLM Prefix Caching）
• 模型并行：单模型跨多 GPU（Tensor Parallelism）

自动扩展

批处理策略

监控与可观测性

核心指标

监控栈

• Metrics：Prometheus + Grafana
• Logging：结构化日志（JSON）
• Tracing：OpenTelemetry 分布式追踪

安全考虑

输入/输出安全

部署安全

• 容器隔离：每个模型实例独立容器
• 网络隔离：推理 API 不与公网直连
• 模型加密：生产模型文件加密存储
• 审计日志：记录所有 API 调用

生产 Checklist

• 选择服务框架（vLLM / TRT-LLM / llama.cpp）
• 启用 Continuous Batching
• 实现 OpenAI 兼容 API
• 配置自动扩展策略
• 设置速率限制和配额
• 搭建监控（TTFT/TPOT/GPU Utils）
• 配置结构化日志
• 实现 Guardrails 安全层
• 部署健康检查和优雅关闭
• 写 Smoke Tests

相关页面

• inference-optimization-deepwiki
• llm-agents-deepwiki
• hermes-agent