大模型，其实现在主要包括两大块：LLM和AIGC模型。其实LLM也是AIGC的一类，不过一般大家喜欢把AIGC单指图像和视频生成模型。LLM起步比AIGC早，框架也相对丰富和成熟。本文就使用少量的文字来介绍我们平常会用到的LLM推理框架。

1. vLLM：显存小管家 + 并发收割机

来自伯克利的实力选手，专治“显存不够”和“吞吐太低”。这可能也是大家用得最多的LLM推理框架，搞LLM的候选人简历上不写个懂vLLM貌似都不大好意思。

四个绝活：

• PagedAttention：把KV缓存分成一页一页，随用随取，显存利用率从传统的60%直接干到95%；

• 动态批处理：谁来就处理谁，不等批，不浪费，GPU满载运转；

• 多卡并行： TP，PP等各种并行都支持；

• 量化： AWQ，GPTQ等主流量化算法内置，压模型，保效果。

适合干啥？高并发、高响应场景，比如金融对话、AI客服、在线问答。

项目地址：https://github.com/vllm-project/vllm.git

---

2. SGLang：吞吐王者 + 输出专家

同样出自伯克利，是一款基于Radix树的高吞吐LLM推理引擎。

核心在于：

• Radix Tree缓存：生成内容不丢掉，能共用前缀，效率拉满；

• 结构化输出：生成JSON、XML这类格式轻轻松松，适合对接后端；

跑多轮对话时，吞吐是vLLM的5倍（没看错，5 倍！）。

适合干啥？高并发多轮对话、搜索引擎、金融领域，一整套流程都能省心。

项目地址：https://github.com/sgl-project/sglang

---

3. TensorRT-LLM：NVIDIA出品

NVIDIA官方出品，为自家显卡量身打造。早期做Transformer模型的同学对FasterTransformer不会陌生，本公众号也有几篇分析。实际上，我个人学LLM推理入门就是从FasterTransformer开始的。而TRT-LLM其实就是FasterTransformer的继任者，第一版的代码和FasterTransformer的最后一个版本基本一致，然后再上面持续迭代优化。 特点就是——快！还省显存！

• 支持FP8、INT4量化，显存压得低，还不掉精度。

• 内核级优化，每一行代码都榨干GPU性能。

• 支持多卡并行，还能预编译，跑起来飞快。

适合干啥？极限低延迟的场景，比如高频交易、语音助手、AI电话客服。

项目地址：https://github.com/NVIDIA/TensorRT-LLM

NV家的东西吧，很喜欢走开源+闭源结合的方式，所以有很多核心部件看不到，不大容易自己扩展。

---

4. Ollama：一个人也能用的大模型引擎

你可能不搞大集群，但也想玩大模型？用它！

• 一键安装，支持Mac、Windows、Linux。

• 内置llama.cpp，跑得快，还能量化到4bit。

• 离线可用，数据安全感满满。

适合干啥？个人开发、隐私场景、快速原型，连苹果M1都能跑。

项目地址：https://github.com/ollama/ollama

这个项目其实不是追求高性能，而是让每个电脑都能把LLM跑起来。

---

5. XInference：企业级分布式全家桶

PD分离听过吧？就是把prefill阶段和decoding阶段分开做。这个框架很大的一个卖点就是PD分离。另外，它的内核支持使用kubernetes集群部署，所以，自然就是企业级部署的不错选择。

特点：

• 预处理、生成分开跑，让两个阶段都更加高效；

• 引入了FlashMLA等高效算子；

• 一样有continuous batching技术。

适合干啥？客服系统、智能问答、企业知识库，一套搞定。

项目地址：https://github.com/xorbitsai/inference

---

6. LightLLM：轻盈又高速的吞吐机器

轻量选手，别看代码少，性能一点不虚。

• 多进程异步执行，token前后处理不卡顿。

• 动态批处理+TokenAttention，处理token数量翻倍。

• 支持张量并行和FlashAttention，效率直接拉满。

适合干啥？高吞吐API服务、聊天机器人、边缘部署。

项目地址：https://github.com/ModelTC/LightLLM

---

7. LMDeploy：反正是我的最爱

大模型怎么能没有国产方案！

• 昇腾芯片 + MindSpore Inference，硬件+软件双适配。

• LMDeploy：专为视觉+语言混合任务打造，兼容国产GPU。

适合干啥？政企、金融、教育等对国产芯片有要求的场景，放心大胆部署。

LMDeploy是使用Python+CPP混合开发的框架，并且C++层非常重。当然了，带来的收益是他的效率非常高。曾经在用它部署TTS的模型的时候发现了ROPE使用BF16的精度问题。Anyway，这绝对是一个好框架。

项目地址：https://github.com/InternLM/lmdeploy

总结

框架	一句话评价
vLLM	显存利用高，吞吐超强，适合企业级大模型服务
SGLang	吞吐第一，输出标准，适合结构化场景
TensorRT-LLM	极速响应，延迟压到极致，适合生产环境
Ollama	一人开发也能跑，轻量离线本地神器
XInference	分布式部署好帮手，企业搞大项目首选
LightLLM	轻快灵活，吞吐一流，适合边缘场景
LMDeploy	国产必选，政企部署刚刚好

 如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓