从零掌握 vLLM、SGLang 等现代 LLM 推理框架的核心原理与实现
本仓库包含一系列深入浅出的 LLM 推理系统教学文档，旨在帮助学习者：
- ✅ 理解现代 LLM 推理框架的核心原理
- ✅ 掌握 PagedAttention、Radix Cache 等关键技术
- ✅ 学习 Chunked Prefill、Overlap Scheduling 等高级优化
- ✅ 对比不同框架的设计权衡
- ✅ 获得实际开发和优化能力
大语言模型（LLM）推理系统是当前 AI 领域的热点，掌握相关技术可以：
- 提升推理性能：从 50 tok/s 提升到 2000+ tok/s（40x 加速）
- 降低硬件成本：通过优化显著减少 GPU 需求
- 构建生产服务：搭建高并发、低延迟的在线服务
- 深入 AI 系统：理解分布式系统、CUDA 优化、调度算法等
| 文档 | 内容 | 难度 | 时间 |
|---|---|---|---|
| nano-vLLM 教学指南 | 从零理解 vLLM：PagedAttention、Scheduler、KV Cache 管理 | ⭐⭐ | 1-2 周 |
| mini-sglang 教学指南 | 深入 Radix Cache、Chunked Prefill、Overlap Scheduling | ⭐⭐⭐⭐ | 3-4 周 |
| 框架对比分析 | nano-vLLM vs mini-sglang 全面对比 | ⭐⭐⭐ | 1 周 |
初学者路径（1-2 月）：
├─ 第 1-2 周：VLLM_TUTORIAL.md
│ ├─ PagedAttention 原理
│ ├─ Scheduler 调度策略
│ ├─ KV Cache 管理机制
│ └─ Continuous Batching
│
├─ 第 3 周：NANO_VLLM_COMPARISON.md
│ ├─ 理解不同架构选择
│ ├─ 对比性能优化技术
│ └─ 选择合适框架
│
└─ 第 4-8 周：MINI_SGLANG_TUTORIAL.md
├─ Radix Cache 实现
├─ Chunked Prefill 机制
├─ Overlap Scheduling
├─ 分布式架构
└─ 自定义 CUDA Kernels
进阶路径（3-6 月）：
├─ 深入源码阅读
├─ 实现自定义优化
├─ 性能分析和调优
└─ 生产环境部署
- 问题：传统 KV Cache 浪费严重
- 解决：借鉴操作系统虚拟内存，分页管理
- 效果：显存利用率从 30% 提升到 90%+
- 问题：哈希缓存只能匹配完整块
- 解决：前缀树自动匹配，支持部分前缀
- 效果：缓存命中率提升 1.5-2x
- 问题：长 prompt 需要 OOM 风险
- 解决：分片处理长序列
- 效果：峰值显存降低 25x
- 问题：CPU 调度开销大
- 解决：CPU/GPU 并行执行
- 效果：吞吐量提升 1.5x
- 问题：静态批处理等待慢请求
- 解决：动态批处理，请求完成即移除
- 效果：吞吐量提升 4x
每个概念都配有详细的代码示例：
# PagedAttention 块分配示例
seq = Sequence([1, 2, 3, ..., 1000])
manager.allocate(seq)
# seq.block_table = [0, 1, 2, 3]使用 ASCII 图示展示复杂概念：
传统方式：连续分配
请求A: [████████████████████] 1000 tokens
请求B: [██████] 100 tokens
↑ 浪费：需要预分配
PagedAttention：分页管理
请求A: [██][██][██][██] 4个块
请求B: [██] 1个块
↑ 按需分配
每章包含实战练习，巩固理解：
- 练习 1：手动画出 Radix 树结构
- 练习 2：模拟 Chunked Prefill 调度
- 练习 3：计算 Overhead 和性能提升
- 练习 4：对比缓存命中率
- 练习 5：计算分布式通信量
-
nano-vLLM: https://github.com/tzular/mini-vllm
- 2000 行 Python
- 适合学习核心概念
-
mini-sglang: https://github.com/sgl-project/mini-sglang
- 5000 行 Python + CUDA
- 生产级实现
- PyTorch
- FlashAttention / FlashInfer
- Triton / TVM
- ZeroMQ
- FastAPI
| 指标 | HuggingFace | vLLM | SGLang |
|---|---|---|---|
| 吞吐量 | 50 tok/s | 2000 tok/s | 3000 tok/s |
| 显存利用率 | 30% | 90% | 95% |
| 并发能力 | 8 请求 | 256 请求 | 512 请求 |
| 前缀缓存 | 不支持 | 10-100x | 10-100x |
git clone https://github.com/YOUR_USERNAME/llm-inference-tutorials.git
cd llm-inference-tutorials# 初学者：从 nano-vLLM 开始
cat VLLM_TUTORIAL.md
# 有经验：直接看 mini-sglang
cat MINI_SGLANG_TUTORIAL.md
# 想对比：看对比文档
cat NANO_VLLM_COMPARISON.md# 克隆教学项目
git clone https://github.com/tzular/mini-vllm.git
cd mini-vllm
# 运行示例
python example.py
# 开始修改和实验
vim nanovllm/engine/scheduler.py- PagedAttention: vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
- RadixAttention: SGLang: Efficient Execution of Large Language Models with Structured Generation
- Chunked Prefill: Sarathi-Serve: Efficient LLM Serving over PCIe and NVLink
- vLLM - 生产级 LLM 推理服务
- SGLang - 结构化生成推理引擎
- TensorRT-LLM - NVIDIA 优化引擎
- FlashAttention - 快速注意力实现
- FlashInfer - 高效 LLM 推理库
- Triton - Python GPU 编程
欢迎贡献！
- Fork 本仓库
- 创建特性分支 (
git checkout -b feature/amazing-feature) - 提交更改 (
git commit -m 'Add amazing feature') - 推送到分支 (
git push origin feature/amazing-feature) - 开启 Pull Request
- 📝 修正错别字和表达
- ➕ 添加新的教学章节
- 🎨 改进示例代码
- 📊 补充性能测试
- 🌍 翻译成其他语言
本项目采用 MIT 许可证 - 详见 LICENSE 文件
如果这个项目对你有帮助，请给个 Star ⭐️
- 提交 Issue：GitHub Issues
- 邮件：your.email@example.com
- 微信：your_wechat_id
感谢以下开源项目的启发：
- nano-vLLM - 简洁的教学实现
- mini-sglang - 生产级参考实现
- vLLM - 开创性工作
- SGLang - 高级优化技术
开始你的 LLM 推理系统学习之旅！ 🚀
Made with ❤️ by AI Community