小白必看！ChatGLM3-6B保姆级安装教程（RTX4090D版）

1. 前言：为什么选择本地部署ChatGLM3？

你是不是也遇到过这样的情况：想用AI助手写代码、分析文档，但担心隐私泄露？或者网络不稳定导致对话中断？又或者云端服务响应慢，等得心急？

今天我要分享的ChatGLM3-6B本地部署方案，完美解决了这些问题。这个方案专门针对RTX4090D显卡优化，让你在个人电脑上就能拥有一个响应迅速、隐私安全、功能强大的AI助手。

最棒的是，整个安装过程非常简单，即使你是完全的新手，跟着本教程一步步来，30分钟内就能搞定！

2. 准备工作：确保你的环境就绪

在开始安装之前，我们需要先检查一下硬件和软件环境。

2.1 硬件要求

• 显卡：NVIDIA RTX4090D（24GB显存）
• 内存：建议32GB以上
• 存储：至少20GB可用空间（用于存放模型文件）
• 系统：Windows 10/11 或 Linux Ubuntu 18.04+

2.2 软件环境

确保你的系统已经安装了以下基础软件：

# 检查NVIDIA驱动是否安装
nvidia-smi

# 检查Python版本（需要3.8+）
python --version

# 检查pip是否可用
pip --version

如果任何一项检查失败，请先安装相应的软件。NVIDIA驱动可以从官网下载，Python可以从官网或Anaconda安装。

3. 一步步安装ChatGLM3-6B

现在开始正式的安装过程，我会把每个步骤都解释得很详细。

3.1 第一步：创建项目目录

首先，我们创建一个专门的项目文件夹，避免文件混乱：

# 创建项目目录
mkdir chatglm3-project
cd chatglm3-project

3.2 第二步：安装Python虚拟环境

使用虚拟环境可以避免包冲突，这是个好习惯：

# 创建虚拟环境
python -m venv chatglm3-env

# 激活虚拟环境
# Windows系统用这个：
chatglm3-env\Scripts\activate
# Linux/Mac系统用这个：
source chatglm3-env/bin/activate

激活后，你的命令行前面会出现(chatglm3-env)的提示，表示已经在虚拟环境中了。

3.3 第三步：安装核心依赖

现在安装运行ChatGLM3所需的核心库：

# 安装PyTorch（适配RTX4090D的版本）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装Transformers库（特定版本确保兼容性）
pip install transformers==4.40.2

# 安装Streamlit（Web界面框架）
pip install streamlit

# 安装其他依赖
pip install sentencepiece protobuf

3.4 第四步：下载模型文件

ChatGLM3-6B的模型文件比较大（约12GB），我们需要耐心下载：

# 使用git下载（推荐方式）
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

# 如果git lfs下载慢，也可以直接下载文件
# 创建模型目录
mkdir chatglm3-6b
cd chatglm3-6b

# 逐个下载模型文件（共7个部分）
wget https://modelscope.cn/api/v1/models/ZhipuAI/chatglm3-6b/repo?Revision=master&FilePath=pytorch_model-00001-of-00007.bin
# 继续下载其他6个文件...

下载过程可能需要一些时间，取决于你的网络速度。建议在网络状况好的时候进行。

4. 配置和启动ChatGLM3

模型下载完成后，我们就可以进行配置和启动了。

4.1 创建启动脚本

创建一个Python文件来启动ChatGLM3：

# 创建start_chatglm.py文件
import torch
from transformers import AutoModel, AutoTokenizer
import streamlit as st

# 设置页面标题
st.set_page_config(page_title="ChatGLM3-6B智能助手")

# 加载模型
@st.cache_resource
def load_model():
    model_path = "./chatglm3-6b"  # 修改为你的实际路径
    tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
    model = AutoModel.from_pretrained(model_path, trust_remote_code=True).cuda()
    return model, tokenizer

model, tokenizer = load_model()

# 创建聊天界面
st.title(" ChatGLM3-6B智能助手")
st.write("欢迎使用本地部署的ChatGLM3-6B！")

# 初始化聊天历史
if "messages" not in st.session_state:
    st.session_state.messages = []

# 显示聊天记录
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.markdown(message["content"])

# 用户输入
if prompt := st.chat_input("请输入您的问题..."):
    # 添加用户消息到历史
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.markdown(prompt)
    
    # 生成AI回复
    with st.chat_message("assistant"):
        message_placeholder = st.empty()
        full_response = ""
        
        # 流式输出
        for response, history in model.stream_chat(tokenizer, prompt, st.session_state.messages):
            full_response = response
            message_placeholder.markdown(full_response + "▌")
        
        message_placeholder.markdown(full_response)
    
    # 添加AI回复到历史
    st.session_state.messages.append({"role": "assistant", "content": full_response})

4.2 启动ChatGLM3服务

保存上面的脚本后，在命令行中运行：

streamlit run start_chatglm.py

等待片刻，你会看到类似这样的输出：

You can now view your Streamlit app in your browser.

Local URL: http://localhost:8501
Network URL: http://192.168.1.100:8501

在浏览器中打开http://localhost:8501，就能看到ChatGLM3的聊天界面了！

5. 常见问题解决

在安装过程中可能会遇到一些问题，这里列出几个常见的解决方法：

5.1 显存不足错误

如果遇到CUDA out of memory错误，可以尝试减小批量大小：

# 在加载模型后添加这行代码
model = model.half()  # 使用半精度减少显存占用

5.2 模型加载失败

如果模型加载失败，检查模型路径是否正确，以及所有模型文件是否完整下载。

5.3 依赖冲突

如果遇到包版本冲突，可以尝试重新创建虚拟环境，严格按照本教程的版本安装。

6. 使用技巧和建议

成功安装后，这里有一些使用建议：

6.1 最佳实践

• 首次使用：先问一些简单问题，让模型预热一下
• 长文本处理：ChatGLM3支持32k上下文，可以处理长文档
• 多轮对话：模型会记住之前的对话内容，适合连续追问

6.2 性能优化

如果你的响应速度不够快，可以尝试：

# 启用量化进一步优化速度
model = model.quantize(8)  # 8位量化

6.3 隐私保护

记住，所有对话都在本地进行，不会上传到任何服务器，你可以放心讨论敏感话题。

7. 总结

恭喜你！现在你已经成功在RTX4090D上部署了ChatGLM3-6B模型。回顾一下我们完成的工作：

1. 环境准备：检查硬件和软件环境
2. 依赖安装：安装所有必要的Python库
3. 模型下载：获取ChatGLM3-6B模型文件
4. 服务启动：配置并启动本地聊天服务
5. 问题解决：处理可能遇到的常见问题

这个本地部署的ChatGLM3不仅响应速度快，而且完全私有化，你的所有数据都安全地保存在本地。无论是编程辅助、文档分析还是日常问答，它都能提供很好的体验。

现在就去试试你的新AI助手吧！如果遇到任何问题，欢迎在评论区留言讨论。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。