小白程序员必看：收藏这份本地部署ChatGLM-6B大模型保姆级教程

发菜君

819人浏览 · 2026-02-14 15:39:32

发菜君 · 2026-02-14 15:39:32 发布

本文为想要在本地部署大模型的程序员们提供了一份详尽的指南，从GPU环境配置（包括CUDA和cuDNN的安装）到ChatGLM-6B模型的运行进行了全流程的梳理。文章还提供了环境检查命令和避坑建议，帮助读者绕过常见的配置难题，快速搭建属于自己的AI对话服务。此外，还介绍了如何下载和部署轻量化的大语言模型ChatGLM-6B，以及如何通过浏览器进行对话测试。对于想要深入了解背后原理的读者，文章也提供了相关的延伸阅读资料。

想要在本地部署大模型，却总在环境配置这一步卡住？显卡驱动不兼容、CUDA版本对不上、依赖库报错…这些“拦路虎”确实让人头大。

本文基于 Ubuntu 18.04 环境，梳理了从 GPU 环境配置到 ChatGLM-6B 模型运行的全流程。希望能帮你绕过常见的坑，快速搭建属于自己的 AI 对话服务。

1 GPU环境配置：安装CUDA和cuDNN

本节是部署的基础。如果你是第一次部署大模型，请仔细阅读；若已有经验，可快速检查各组件版本是否匹配。

目标：在 Ubuntu 18.04 上配置 CUDA 11.3 与 cuDNN 8.8.0

1.1 为什么要装这些？

大模型的训练与推理常依赖PyTorch等工具，其正常运行需要GPU驱动、CUDA和cuDNN三者兼容协作。

GPU驱动：安装在物理机，用于管理和控制GPU。
CUDA：NVIDIA推出的并行计算平台，让开发者能利用GPU进行高效并行计算。
cuDNN：基于CUDA的深度神经网络加速库，为深度学习框架提供高性能支持。
PyTorch：流行的深度学习框架，依赖上述组件实现GPU加速。

避坑建议：

GPU 驱动必须安装在物理机上。

CUDA 和 cuDNN 可以选择装在物理机，也可以封装在 Docker 容器里（推荐容器化，环境隔离更干净）。

为更好适配其他模型环境，建议优先选择较高版本。

1.2 环境检查命令

检查显卡驱动和支持的CUDA版本：nvidia-smi
检查容器是否安装CUDA工具：nvcc -V
检查显存大小： nvidia-smi --query-gpu=memory.total --format=csv
检查磁盘空间： df -h,具体分区空间：df -h /dev/sdal
查看 torch 可否支持当前 GPU 驱动: python -c "import torch; print(torch.cuda.is_available())" 返回 Ture 表示可用，False 为不可用。

1.3 安装资源

具体的安装步骤较长，为节省篇幅，推荐参考以下优质教程：

配置CUDA和cuDNN的完整指南：https://banxian-w.com/article/2023/3/21/2528.html
CUDA 11.2 和 cuDNN 8.4.0 安装与验证教程：https://blog.csdn.net/tangjiahao10/article/details/125227005

官方版本对照表

PyTorch、CUDA与Python版本匹配查询：https://download.pytorch.org/whl/torch_stable.html
NVIDA 驱动与CUDA版本对应关系官方文档: https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

2 实战部署：本地运行ChatGLM-6B

环境搭好了, 接下来就是部署模型了。
ChatGLM-6B 是国内开源的中英双语大语言模型，它最大的亮点是轻量化，家用级显卡也能跑得动，且中文效果出色。

3 下载模型

为了适应不同的显存，模型提供了量化版本。量化简单说就是“压缩”，INT4 版本虽然压缩狠，但显存占用极低，且效果损失在可接受范围内。

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

3.1 下载方式模型权重

方法一：Git 直接拉取（推荐）
如果你网络环境较好，直接从 Hugging Face 拉取 INT4 量化版：

git clone https://huggingface.co/THUDM/chatglm-6b-int4

方法二：手动下载（网速慢看这里）
如果 Git 拉取经常断开，建议去清华云盘下载压缩包，再上传到服务器：
清华大学云盘下载地址

3.2 部署步骤

克隆项目仓库

git clone https://github.com/THUDM/ChatGLM-6B
cd ChatGLM-6B

放置模型文件
在刚才 clone 下来的 ChatGLM-6B 文件夹里，新建一个 model 文件夹，把下载好的模型权重文件全都放进去。
安装依赖（在容器或虚拟环境内执行）：
建议在 Python 虚拟环境或 Conda 环境中执行，避免污染系统环境：

pip install -r requirements.txt

修改加载路径

打开 web_demo.py 文件，我们需要做两处微调：

修改路径

找到加载模型的地方，把路径改为你本地的 model 目录路径。
开放端口

将最后一行的 server_name 设置为 ‘0.0.0.0’。

为什么要改？默认是 127.0.0.1，只能本机访问。改成 0.0.0.0 后，你才能通过浏览器访问服务器的 IP 地址来使用网页版。

具体修改见下图：

启动服务

python web_demo.py

完成以上步骤后，如果看到类似 Running on local URL: http://0.0.0.0:7860 的提示，即可通过浏览器访问本地ChatGLM服务，进行对话测试。

4 延伸阅读

动手尝试是学习 AI 最好的方式。如果你对背后的原理感兴趣，可以阅读以下资料：动手尝试，是学习AI的最佳方式。

最后

我在一线科技企业深耕十二载，见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

✅AI大模型学习路线图
✅Agent行业报告
✅100集大模型视频教程
✅大模型书籍PDF
✅DeepSeek教程
✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

在这里插入图片描述

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点
在这里插入图片描述

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

在这里插入图片描述

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

在这里插入图片描述

④各大厂大模型面试题目详解

在这里插入图片描述

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

在这里插入图片描述