前言

大模型推理部署的瓶颈从来不是算力上限，而是内存带宽。一个70亿参数的模型以FP16存储需要约14GB显存，而昇腾NPU的INT8矩阵乘单元可以将有效计算密度翻倍，把HBM搬运压力降低至原来的一半。CANN（Compute Architecture for Neural Networks）作为昇腾NPU的核心软件栈，其模型压缩工具包AMCT（Ascend Model Compression Toolkit）正是打通"FP16训练模型到INT8/NPU高效推理"这条链路的关键组件。AMCT提供了从训练后量化到量化感知训练的完整工具链，覆盖Min-Max、AWQ、GPTQ、SmoothQuant等主流算法，同时支持HiFloat8、MXFP8等华为自研浮点格式，且针对DeepSeek-V3.2/V4等前沿大模型做了原生适配。本文从量化算法的数学原理出发，结合AMCT的工程实现，分析不同算法在昇腾NPU上的适用场景、配置调优策略以及实际部署中的精度-性能权衡。

量化在昇腾NPU上的硬件约束与收益来源

昇腾NPU的Cube单元原生支持INT8矩阵乘运算，单周期吞吐量为FP16的2倍以上。这意味着同样的矩阵运算，INT8输入可以在更少的时钟周期内完成，同时数据从HBM搬运到Cube单元的带宽需求降低50%。但INT8量化并非免费的午餐——将FP32/FP16的连续实数映射到INT8的离散空间，必然引入截断误差和舍入误差。误差的大小取决于原始数据的分布特征：权重通常呈现近似均匀或高斯分布，量化难度低；而激活值受输入数据驱动，分布往往存在长尾甚至异常值，量化难度高。

AMCT的量化架构将量化过程分为两个独立阶段：离线量化阶段负责计算量化参数（scale和offset），在线部署阶段在昇腾NPU上执行低比特运算。这种解耦设计使得同一个量化后的模型可以在不同规格的昇腾设备上复用，而不需要重新校准。量化参数的生成依赖校准数据集——一个具有代表性的小规模数据子集（推荐batch_num x batch_size为16到32），通过前向推理采集激活值的统计信息，再根据所选算法计算最优量化因子。

权重量化算法：从Min-Max到AWQ和GPTQ

权重量化是AMCT中最基础的压缩手段。权重在训练完成后固定不变，其数值分布可以离线分析，因此权重量化的核心问题是：如何选择量化粒度和舍入策略，使得量化后的权重在矩阵乘运算中引入的误差最小。

Min-Max量化：简单直接的基线方案

Min-Max量化是最朴素的量化策略，直接取权重的最大值和最小值，计算对称或非对称量化因子。AMCT中通过ARQ（Adaptive Range Quantization）算法实现，支持per-tensor和per-channel两种粒度。per-tensor模式下，同一层所有通道共用一个量化因子，计算开销最低但对通道间分布差异大的层精度损失较大；per-channel模式下，每个输出通道独立计算量化因子，精度更高但量化参数存储量增加。

以下是一个典型的AMCT权重量化配置示例：

import amct_pytorch as amct
import torch

# 创建量化配置，指定权重量化算法为ARQ（Min-Max）
config_file = './quantize_config.json'
record_file = './record.txt'

# 定义简易配置
simple_config = {
    "quantize_config": {
        "activation_quantize": {
            "algorithm": "IFMR"
        },
        "weight_quantize": {
            "algorithm": "ARQ",
            "channel_wise": True  # per-channel量化，精度优于per-tensor
        }
    }
}

# 创建量化配置文件
amct.create_quant_config(
    model=model,
    input_data=(torch.randn(1, 3, 224, 224),),
    config_defination=simple_config,
    config_file=config_file
)

这段代码完成量化配置文件的生成，是整个AMCT量化流程的起点。create_quant_config接口会遍历模型中所有可量化算子，根据config_defination中的算法和参数为每个算子生成量化策略。channel_wise=True表示启用per-channel量化，AMCT将为每个输出通道独立计算scale和offset。激活量化算法设置为IFMR（Input Feature Map Reconstruction），这是一种基于截断搜索的激活量化方法，后面会详细展开。

将量化配置与模型结构解耦是AMCT的架构选择。模型结构决定哪些算子可量化、哪些算子需要跳过（如首层输入、归一化层等），而配置文件控制具体的量化参数。这种分离使得同一份配置文件可以批量应用到同一架构的不同变体模型上，降低量化工程的管理复杂度。

AWQ：感知激活的权重量化

Min-Max量化对所有权重一视同仁，但AWQ（Activation-aware Weight Quantization）的核心洞察是：并非所有权重对量化误差的贡献相同。AWQ通过分析激活值的分布，识别出约1%的"显著权重"（即对应激活值较大的通道权重），对这部分权重施加放大因子后再量化，从而在量化间隔不变的前提下减小关键权重的相对误差。

AWQ的数学表达为：对每个通道i，引入缩放因子s_i，将原始权重W_i缩放为W_i * s_i后再量化，对应的激活值X_i除以s_i进行补偿，保证数学等价。缩放因子的搜索范围是[2^(-q/2), 2^(q/2)]，AMCT通过网格搜索在该范围内寻找使量化误差最小的s_i组合。

# AWQ量化配置示例——针对大模型权重量化
awq_config = {
    "quantize_config": {
        "activation_quantize": {
            "algorithm": "IFMR"
        },
        "weight_quantize": {
            "algorithm": "AWQ",
            "group_size": 128,     # per-group粒度，每128个权重一组
            "search_range": [0.5, 1.0]  # 缩放因子搜索范围
        }
    }
}

amct.create_quant_config(
    model=llm_model,
    input_data=(torch.randint(0, 32000, (1, 128)),),
    config_defination=awq_config,
    config_file='./awq_config.json'
)

这里group_size=128指定per-group量化粒度，即在权重的reduce轴上每128个元素共用一组量化参数。较大的group_size减少量化参数存储量但增加量化误差，较小的group_size精度更好但参数量增加。对于INT8量化，group_size=128是一个兼顾精度和效率的折中选择。

AWQ的保护显著权重策略本质上是利用了"激活-权重相关性"：激活值大的通道意味着该通道在推理中对输出的贡献更大，对应的权重也更重要。放大这些权重使其映射到INT8量化范围的中心区域，远离截断边界，从而减小舍入误差。这种感知激活的设计在大模型场景下尤其有效，因为大模型的激活分布通常比CNN更极端。

GPTQ：基于海森矩阵的逐层贪心量化

GPTQ（Generative Pre-trained Transformer Quantization）采用不同的思路：它不分析激活分布，而是直接优化量化误差。对每一层权重矩阵，GPTQ根据校准数据计算该层输入的海森矩阵H，进而用逐列贪心策略量化权重——每次量化一列权重时，用海森矩阵的信息将量化误差传播到尚未量化的列，使得累计量化误差最小化。

GPTQ的核心优势在于它是一种全局优化策略：量化某一列权重时，已量化列的误差会通过H^{-1}矩阵修正尚未量化列的值，从而实现误差的全局最优分配。这种方法的计算开销比AWQ大（需要计算和存储海森矩阵的逆），但在INT4场景下精度优势明显。

# GPTQ量化流程示例
gptq_config = {
    "quantize_config": {
        "activation_quantize": {
            "algorithm": "IFMR"
        },
        "weight_quantize": {
            "algorithm": "GPTQ",
            "block_size": 128,      # 海森矩阵分块大小
            "quant_bit": 4          # INT4量化，GPTQ的强项
        }
    }
}

amct.create_quant_config(
    model=llm_model,
    input_data=(torch.randint(0, 32000, (1, 128)),),
    config_defination=gptq_config,
    config_file='./gptq_config.json'
)

# 执行校准与量化
amct.quantize_model(
    model=llm_model,
    record_file=record_file,
    config_file='./gptq_config.json',
    input_data=calib_data_iter  # 校准数据迭代器
)

GPTQ配置中block_size控制海森矩阵的分块策略。对于大型权重矩阵（如4096x4096的注意力投影层），直接计算完整的H^{-1}矩阵开销过大，分块策略将其拆分为多个128x128的子块分别处理，在精度和计算开销之间取得平衡。quant_bit=4将权重量化到INT4，此时GPTQ的逐列误差修正机制发挥最大价值。

海森矩阵捕获了输入数据对权重误差的二阶敏感度信息。直觉上，如果一个权重通道的输入激活方差较小，那么该通道权重的量化误差对输出的影响也较小，可以容忍更大的量化误差。GPTQ通过H^{-1}精确地将量化误差分配到"最不敏感"的维度上，这是AWQ的启发式缩放无法实现的。但在INT8场景下，量化间隔已经足够密，GPTQ相比AWQ的精度增益有限，因此AMCT建议大模型INT8量化优先用AWQ，INT4场景再用GPTQ。

激活量化与全量化：SmoothQuant的迁移策略

仅量化权重（W-only量化）可以减少模型体积和部分内存带宽，但要充分利用昇腾NPU的INT8 Cube单元，需要对激活值也进行量化（W8A8全量化）。激活量化的难点在于：激活值分布受输入数据驱动，可能存在极端异常值，直接用Min-Max量化会导致大部分正常值被压缩到极少的量化级别中。

SmoothQuant：将激活异常值迁移至权重

SmoothQuant的核心思想是利用矩阵乘法的数学等价性，将激活值的量化难度"转移"到权重上。具体做法是对每个通道引入平滑因子s_j，将激活X的第j列除以s_j，同时权重W的第j行乘以s_j，乘积XW保持不变。平滑因子的计算公式为：

s_j = max(|X_col_j|)^alpha / max(|W_row_j|)^(1-alpha)

其中alpha是迁移强度超参数，取值范围[0, 1]。alpha越大，越多激活难度被迁移到权重。AMCT中DMQ（Diagonal Matrix Quantization Balancer）算法实现了类似的均衡逻辑，在计算量化因子之前对激活和权重做对角矩阵变换。

# SmoothQuant全量化配置示例
smooth_config = {
    "quantize_config": {
        "activation_quantize": {
            "algorithm": "SmoothQuant",
            "alpha": 0.5  # 迁移强度，0.5是常用起点
        },
        "weight_quantize": {
            "algorithm": "ARQ",
            "channel_wise": True
        }
    },
    "skip_quant_layers": [
        "model.embed_tokens",    # 词嵌入层跳过量化
        "lm_head"                 # 输出层跳过量化
    ]
}

amct.create_quant_config(
    model=llm_model,
    input_data=(torch.randint(0, 32000, (1, 128)),),
    config_defination=smooth_config,
    config_file='./smooth_config.json'
)

skip_quant_layers配置跳过了词嵌入层和输出投影层。这两个层对量化误差尤为敏感——词嵌入层的权重直接作为下一层的输入，量化误差会逐层累积放大；输出层的精度直接决定最终的token预测分布。AMCT允许用户在配置中按层名精确控制量化开关，这是实际工程中保证精度的常用手段。

alpha参数的调节是SmoothQuant工程实践的关键。alpha=0时不做迁移，退化为标准的W8A8量化；alpha=1时将全部激活难度迁移到权重，权重可能变得难以量化。实际场景中，alpha=0.5是一个合理的起点，但如果模型激活异常值特别严重（如某些MoE模型的路由层），可以尝试alpha=0.6到0.8。AMCT支持在校准阶段自动搜索最优alpha值，减少人工调参成本。

量化感知训练：当PTQ精度不够时的重训练路径

PTQ的局限在于只能通过校准数据调整量化参数，无法修改模型权重本身。当模型的某些层对量化误差天然敏感（如参数量少的层、首层、尾层），或者目标任务对精度要求极高时，PTQ可能无法满足需求。此时需要切换到量化感知训练（QAT），通过在训练循环中插入伪量化算子，让模型在梯度下降过程中适应量化带来的信息损失。

AMCT的QAT流程在用户原有训练代码的基础上注入量化相关的hook和算子。训练过程中，前向传播时权重和激活先被伪量化到低比特再还原为浮点参与计算，反向传播时通过直通估计器（Straight-Through Estimator）将量化误差的梯度近似传递给原始权重。经过若干轮训练后，模型权重"学会"了在低比特约束下仍保持较高表达能力。

# QAT伪量化训练配置示例
qat_config = {
    "quantize_config": {
        "activation_quantize": {
            "algorithm": "ULQ",
            "clip_max_min": [-6.0, 6.0],  # 激活截断范围
            "fixed_min": False
        },
        "weight_quantize": {
            "algorithm": "ARQ",
            "channel_wise": True
        }
    }
}

# 在训练循环中，AMCT会自动注入伪量化算子
# 用户只需按照常规训练流程执行即可
# 前向传播: float -> fake_quant -> float -> loss
# 反向传播: loss -> STE梯度 -> weight更新
amct.create_quant_config(
    model=model,
    input_data=(torch.randn(1, 3, 224, 224),),
    config_defination=qat_config,
    config_file='./qat_config.json'
)

ULQ（Universal Linear Quantization）算法是AMCT为QAT场景设计的可学习量化方法。与传统固定截断的量化不同，ULQ在训练过程中持续调整clip_max_min参数，使量化截断范围随权重分布的变化而自适应调整。clip_max_min=[-6.0, 6.0]设定了初始截断范围，训练过程中该范围会被优化。fixed_min=False表示截断下限可以自由移动，适用于激活值可能为负的网络层。

QAT的核心成本在于训练时间和算力资源——需要完整训练数据集和多轮epoch才能收敛。AMCT通过蒸馏量化提供了一条折中路径：将原始FP16模型作为教师网络，量化模型作为学生网络，仅用少量无标签数据做知识蒸馏，在精度和成本之间取得平衡。AMCT将级联的量化层划分为蒸馏单元，逐模块做fine-tune，避免一次性修改整网带来的训练不稳定。

量化部署效率对比实测

量化效果最终要体现在昇腾NPU的推理性能上。以下数据基于AMCT在Atlas A3推理设备上的典型测试结果，展示了不同量化策略相对于FP16基线的效率变化。测试模型为70亿参数级别的LLM，输入序列长度512，batch_size=1。

维度	使用前（FP16）	使用后（INT8 W8A8）	差异来源
模型体积	约14GB	约7GB	权重从FP16降至INT8，位宽减半
HBM带宽占用	约28GB/s（持续读取）	约14GB/s（持续读取）	矩阵乘输入数据位宽减半，搬运量减半
单token生成延迟	基准值	降低约30%-45%	Cube单元INT8吞吐率更高，HBM压力减轻
吞吐量（tokens/s）	基准值	提升约40%-60%	计算密度翻倍+带宽释放的共同收益
显存峰值占用	约18GB（含KV Cache）	约12GB（含KV Cache）	权重体积减半，KV Cache仍为FP16

权重仅量化（W-only INT8）时，模型体积减半但激活仍为FP16，Cube单元无法完全发挥INT8吞吐优势，延迟改善约15%-25%。全量化（W8A8 INT8）通过SmoothQuant平滑激活分布后，激活也可安全量化到INT8，Cube单元的INT8矩阵乘能力被充分利用，延迟和吞吐改善更明显。显存占用方面，权重体积减半是确定性收益，而KV Cache取决于推理框架的实现——当前AMCT量化后KV Cache仍保持FP16，这也是显存未能对半缩减的原因。

INT4 W-only量化（AWQ/GPTQ）可以将模型体积进一步压缩至约3.5GB，HBM带宽占用降至约7GB/s，对于内存带宽受限的长序列推理场景收益更大，但精度损失需要针对具体任务评估。

精度保障与敏感层处理策略

量化工程中，精度下降是最常见的失败模式。AMCT提供了一套系统化的精度保障机制，按优先级排列为：调整校准数据量、回退敏感层、切换量化算法、切换到QAT。

校准数据量的影响是线性的——数据量不足导致激活统计信息不准确，量化因子偏离最优值。AMCT推荐校准数据的总样本数（batch_num x batch_size）为16到32个样本，数据应覆盖推理时的典型输入分布。对于NLP任务，校准数据应包含不同长度的文本序列；对于CV任务，应覆盖不同光照和视角条件。

敏感层识别是另一个关键手段。网络的首层（直接接收原始输入）、尾层（输出最终预测）、参数量少的层（量化噪声占比高）通常对量化最为敏感。AMCT的skip_quant_layers配置允许用户精确指定跳过量化的层列表，这些层在部署时保持FP16运算，其余层使用INT8。实践中，跳过3-5个敏感层对精度有明显改善，而性能损失通常可以控制在10%以内。

结尾

AMCT作为CANN生态中的模型压缩工具链，将量化从理论算法落地为可工程化部署的完整流程。Min-Max提供入门级权重量化，AWQ和GPTQ针对大模型的不同精度-效率需求提供有针对性的优化策略，SmoothQuant解决了W8A8全量化中激活异常值的难题，而QAT和蒸馏量化则在PTQ精度不足时提供重训练保障。在昇腾NPU的INT8 Cube单元加持下，这些量化算法将模型体积压缩50%的同时带来30%-60%的吞吐提升，且通过敏感层跳过和校准数据调优可以有效控制精度损失。AMCT已针对DeepSeek-V3.2/V4、Qwen3.6-MoE等前沿大模型提供了端到端量化方案，开发者可以根据模型特征和部署约束选择合适的量化路径。

https://atomgit.com/cann/amct