DeepSeek-R1-ascend-A8W8性能实测：昇腾Atlas 800I A2服务器如何承载700GB模型？

【免费下载链接】DeepSeek-R1-ascend-A8W8 项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/DeepSeek-R1-ascend-A8W8

在AI大模型应用日益广泛的今天，如何高效部署超大规模模型成为企业和开发者面临的重要挑战。DeepSeek-R1-ascend-A8W8作为基于6850亿参数DeepSeek-V3开发的优秀AI大模型，通过W8A8量化技术实现了高效部署，让昇腾Atlas 800I A2服务器能够轻松承载700GB模型。本文将深入探讨这一部署方案的实现细节与性能表现。

模型与部署方案概述 🚀

DeepSeek-R1是一款在数学、代码生成和自然语言推理等任务中表现出色的AI大模型，其性能可与OpenAI的o1模型相媲美。本项目提供的是DeepSeek-R1 671B大模型（不含MTP模块）的W8A8量化版本，通过昇思MindSpore全场景全栈AI框架，配合vLLM和vLLM-MindSpore插件，可实现高效的服务化部署。

W8A8量化技术是实现700GB模型高效部署的关键。通过该技术，模型权重需要大约500G左右的内存，相比非量化版本显著降低了资源需求，同时保持了出色的推理性能。

昇腾Atlas 800I A2服务器部署要求 🔧

要成功部署DeepSeek-R1 671B (不含MTP模块) W8A8量化模型，硬件配置和环境准备至关重要。

硬件要求及组网

部署该模型至少需要2台Atlas 800I A2（8*64G）服务器。服务器的组网结构推荐使用直连模式，即通过交换机直连，确保每张卡都可以ping通其他卡。

在存储方面，下载W8A8权重文件时，需要确保机器内/挂载盘中有大于700G的存储空间。同时，CPU侧内存也需要能够放下对应权重文件，建议满足：free_mem >= (权重大小 / 机器数) * 1.3，以保障内存容量充足。

固件和驱动版本

推荐从昇腾官方社区下载并安装特定版本的NPU驱动和固件，以确保兼容性和性能优化。其中，Ascend HDK Driver推荐版本为24.1.0，Ascend HDK Firmware推荐版本为7.5.0.3.220。

部署流程详解 📝

权重文件下载

首先，需要为自定义下载路径添加白名单，执行以下命令：

export HUB_WHITE_LIST_PATHS=/home/deepseek/DeepSeek-R1-W8A8/

然后，通过Python脚本从魔乐社区下载昇思MindSpore版本的DeepSeek-R1 W8A8量化模型权重文件至指定路径：

from openmind_hub import snapshot_download

snapshot_download(
    repo_id="MindSpore-Lab/DeepSeek-R1-ascend-W8A8",
    local_dir="/home/deepseek/DeepSeek-R1-W8A8/",
    local_dir_use_symlinks=False
)

下载的文件包含权重、分词模型、配置文件，占用约700GB的磁盘空间。需要注意的是，下载路径可根据实际情况修改，但需确保后续容器镜像操作中的路径也相应调整。

安装固件和驱动程序

从昇腾社区下载指定版本的昇腾固件和驱动程序后，执行以下shell命令进行安装：

# 驱动安装
./Ascend-hdk-<chip_type>-npu-driver_<version>_linux-<arch>.run --full --install-for-all
# 固件安装
./Ascend-hdk-<chip_type>-npu-firmware_<version>.run --full
# 安装后需要重启

如果服务器已安装昇腾固件和驱动程序，可跳过该步骤。

部署推理服务

1. 下载openEuler容器镜像

docker pull hub.oepkgs.net/oedeploy/openeuler/aarch64/mindspore:20250422

2. 启动容器

在两台部署服务器上，分别执行创建并启动容器的命令，确保正确挂载所需设备和目录。

3. 进入容器并配置环境变量

在两台部署服务器上，分别执行命令进入容器，并配置必要的环境变量，如Ascend相关路径、可见设备、模型配置等。

4. 启动Ray进程

先清除残留的Python和Ray进程，然后在主节点服务器上启动Ray head节点，从节点服务器连接到主节点。

5. 启动DeepSeek-R1 W8A8推理服务

在主节点服务器上执行以下命令启动推理服务：

python3 -m vllm_mindspore.entrypoints vllm.entrypoints.openai.api_server --model "/home/deepseek/DeepSeek-R1-W8A8/" --trust_remote_code --tensor_parallel_size=16 --max-num-seqs=192 --max_model_len=32768 --max-num-batched-tokens=16384 --block-size=32 --gpu-memory-utilization=0.93 --num-scheduler-steps=8 --distributed-executor-backend=ray > log12 2>&1 &

6. 发送服务请求验证

在主节点服务器输入以下命令，测试DeepSeek-R1 W8A8推理服务：

curl http://90.90.90.230:8000/v1/completions -H "Content-Type: application/json" -d '{"model": "/home/deepseek/DeepSeek-R1-W8A8/", "prompt": "You are a helpful assistant.<｜User｜>我去市场买了10个苹果。我给了邻居2个苹果和修理工2个苹果。然后我去买了5个苹果并吃了1个。我还剩下 多少苹果？<｜Assistant｜></think>\n", "max_tokens": 800, "temperature": 0, "top_p": 1.0, "top_k": 1, "repetition_penalty":1.0}'

性能优势与应用价值 💡

DeepSeek-R1-ascend-A8W8部署方案通过W8A8量化技术和昇腾Atlas 800I A2服务器的强大性能，实现了700GB模型的高效部署。这一方案不仅显著降低了内存和存储需求，还保持了出色的推理性能，在数学、代码生成和自然语言推理等任务中表现卓越。

对于企业和开发者而言，这一部署方案提供了一种经济高效的方式来利用超大规模AI模型的能力，为各种复杂任务提供强大的支持。无论是科研机构进行前沿AI研究，还是企业开发智能应用，DeepSeek-R1-ascend-A8W8都展现出了巨大的应用潜力。

快速开始指南 🚀

要开始使用DeepSeek-R1-ascend-A8W8，您可以按照以下步骤操作：

1. 确保您的硬件环境满足要求，准备2台Atlas 800I A2（8*64G）服务器。
2. 安装所需的固件和驱动程序。
3. 克隆仓库：git clone https://gitcode.com/hf_mirrors/MindSpore-Lab/DeepSeek-R1-ascend-A8W8
4. 按照部署指南下载权重文件并配置环境。
5. 启动推理服务并进行测试。

通过以上步骤，您可以快速体验DeepSeek-R1-ascend-A8W8带来的强大AI能力。

声明

本文档提供的模型代码、权重文件和部署镜像，当前仅限于基于昇思MindSpore AI框架体验DeepSeek-R1的部署效果，不支持生产环境部署。相关使用问题请反馈至项目Issue。

【免费下载链接】DeepSeek-R1-ascend-A8W8 项目地址: https://ai.gitcode.com/hf_mirrors/MindSpore-Lab/DeepSeek-R1-ascend-A8W8