note

  • Qwen3.5模型基于混合结构，397B总参/17B激活，能力匹配 >1T 参数的 Qwen3-Max；原生多模态设计，同量级下多模态任务表现优于 Qwen3-VL；覆盖 201 种语言；在代码生成、智能体推理与多模态理解方面表现卓越；
  • 截止20260220，还没公布Qwen3.5的paper，但从PR信息来看：
    • Qwen-3.5 就是多模态版的 Qwen3 Next，即把 ViT + PatchMerger 接上 Qwen3 Next。自然地，模型也支持 Text-Only 的输出。
    • Qwen-3.5-MoE 在 Qwen-3.5 基础上将 LLM Backbone 的 FFN 替换为 Qwen3 风格的 MoE（Top-K Router + Multi-Expert + Shared Expert）

文章目录

一、Qwen3.5模型

基本信息

  • 类型：带视觉编码器的因果语言模型
  • 训练阶段：预训练与后训练

语言模型参数

  • 参数总量：3970亿
  • 激活参数量：170亿
  • 隐藏层维度：4096
  • Token嵌入维度：248320（已填充）
  • 层数：60
    • 隐藏层结构：
      15 * (3 * (门控 DeltaNet -> MoE) -> 1 * (门控注意力 -> MoE))

门控 DeltaNet 模块

  • 线性注意力头数量：
    • V（值）头：64
    • QK（查询-键）头：16
  • 头维度：128

门控注意力模块

  • 注意力头数量：
    • Q（查询）头：32
    • KV（键-值）头：2
  • 头维度：256
  • 旋转位置嵌入维度：64

混合专家系统（MoE）

  • 专家总数：512
  • 激活专家数：10个路由专家 + 1个共享专家
  • 专家中间层维度：1024

输出与训练

  • 语言模型输出维度：248320（已填充）
  • MTP（多步训练策略）：采用多步训练

上下文长度

  • 原生支持：262,144个token
  • 可扩展至：最多1,010,000个token

在这里插入图片描述
qwen3.5沿用了Qwen3-Next hybrid架构。

1、效率优化

在 32k 上下文长度下，Qwen3.5-397B-A17B 的吞吐量达到 Qwen3-Max 的 8.6 倍，同时保持相当的性能表现。这得益于 Next 混合架构的三项关键设计：

  • 更高稀疏度的 MoE：单次推理仅激活 17B 参数，按需调用专家模块；
  • 门控 DeltaNet 与门控注意力混合机制：兼顾长序列处理速度与推理质量；
  • 多 token 预测：单次前向推理预测多个 token，显著提升生成效率

2、泛化能力提升

在同等规模下，Qwen3.5-397B-A17B 超越 Qwen3-VL，得益于三项设计：

  • 原生多模态融合：通过训练阶段的早期文本-视觉融合，视觉与语言在统一表征空间中联合学习，提升 GUI 理解、视频分析等跨模态任务的连贯性；
  • 多语言覆盖扩展：训练数据覆盖语言从 119 种扩展至 201 种，强化全球用户的语言表达理解；
  • 词表扩容至 250k：编解码效率提升 10–60%，尤其改善长尾语言与复杂表达的 tokenization 效果。

在这里插入图片描述

3、多模态能力提升

过去的多模态模型通常是：“视觉编码器 + 语言模型”的拼接：图片先被转成特征，再喂给语言模型理解。我们在 Qwen3.5-397B-A17B 训练阶段就把文本和视觉数据融合，让模型在统一的空间里同时学习“看”和“说”。一个模型，端到端，全搞定——从视觉推理、空间定位到 GUI 操作与视频理解，任务连贯性显著提升。

依托覆盖图像、视频、STEM 与 GUI 的多元视觉数据训练，Qwen3.5 在同等规模下超越 Qwen3-VL，真正迈向原生多模态 Agents。

二、LLM infra优化

通过训推分离架构的解耦式设计，该框架显著提升了硬件利用率，实现了动态负载均衡和细粒度的故障恢复。配合 FP8 训推、Rollout 路由回放、投机采样以及多轮 Rollout 锁定等技术，我们进一步优化了系统吞吐，提高了训推一致性。

通过系统与算法协同设计，该框架在严格控制样本陈旧性的基础上有效缓解了数据长尾问题，提高了训练曲线的稳定性和性能上限。

框架面向原生智能体工作流设计，能够实现稳定、无缝的多轮环境交互，消除了框架层的调度中断。这种解耦设计使得系统能够扩展百万级规模的 Agent 脚手架与环境，从而显著增强模型的泛化能力。上述优化最终取得了 3×–5× 的端到端加速，展现了卓越的稳定性、高效率与可扩展性。

在这里插入图片描述

三、推理优化

阿里这次发布的 Qwen3.5-397B-A17B 是个 3970 亿参数的多模态推理模型（实际工作时用 170 亿活跃参数），原本完整版要占 807GB 硬盘空间。Unsloth 通过 Dynamic 2.0 量化技术，把模型压缩到 214GB，让单张 24GB 显卡配合 256GB 内存就能跑到 25 tokens/秒。

和传统量化方法不同，Dynamic 2.0 不是简单粗暴地把所有层都压缩到 4-bit，而是采用混合精度策略：把对模型性能影响大的关键层保持在 8 或 16-bit，只把次要层压缩到 4-bit。这种“智能压缩”让模型体积大幅缩小的同时，还能保住大部分性能。

在这里插入图片描述

链接：https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF（一定一定要注意不要直接下载，这个目录下有很多模型，Dynamic量化模型只有94GB，但是文件夹除了这个模型以外还有其他3/4/5/6/7/8bit分组量化模型）

四、模型效果

1、Qwen3.5-397B-A17B模型

（1）文本效果

评测维度 GPT5.2 Claude 4.5 Opus Gemini-3 Pro Qwen3-Max-Thinking K2.5-1T-A32B Qwen3.5-397B-A17B
Knowledge
MMLU-Pro 87.4 89.5 89.8 85.7 87.1 87.8
MMLU-Redux 95.0 95.6 95.9 92.8 94.5 94.9
SuperGPQA 67.9 70.6 74.0 67.3 69.2 70.4
C-Eval 90.5 92.2 93.4 93.7 94.0 93.0
Instruction Following
IFEval 94.8 90.9 93.5 93.4 93.9 92.6
IFBench 75.4 58.0 70.4 70.9 70.2 76.5
MultiChallenge 57.9 54.2 64.2 63.3 62.7 67.6
Long Context
AA-LCR 72.7 74.0 70.7 68.7 70.0 68.7
LongBench v2 54.5 64.4 68.2 60.6 61.0 63.2
STEM
GPQA 92.4 87.0 91.9 87.4 87.6 88.4
HLE 35.5 30.8 37.5 30.2 30.1 28.7
HLE-Verified 43.3 38.8 48 37.6 – 37.6
Reasoning
LiveCodeBench v6 87.7 84.8 90.7 85.9 85.0 83.6
HMMT Feb 25 99.4 92.9 97.3 98.0 95.4 94.8
HMMT Nov 25 100 93.3 93.3 94.7 91.1 92.7
IMOAnswerBench 86.3 84.0 83.3 83.9 81.8 80.9
AIME26 96.7 93.3 90.6 93.3 93.3 91.3
General Agent
BFCL-V4 63.1 77.5 72.5 67.7 68.3 72.9
TAU2-Bench 87.1 91.6 85.4 84.6 77.0 86.7
VITA-Bench 38.2 56.3 51.6 40.9 41.9 49.7
DeepPlanning 44.6 33.9 23.3 28.7 14.5 34.3
Tool Decathlon 43.8 43.5 36.4 18.8 27.8 38.3
MCP-Mark 57.5 42.3 53.9 33.5 29.5 46.1
Search Agent
HLE w/ tool 45.5 43.4 45.8 49.8 50.2 48.3
BrowseComp 65.8 67.8 59.2 53.9 –/74.9 69.0/78.6
BrowseComp-zh 76.1 62.4 66.8 60.9 – 70.3
WideSearch 76.8 76.4 68.0 57.9 72.7 74.0
Seal-0 45.0 47.7 45.5 46.9 57.4 46.9
Multilingualism
MMMLU 89.5 90.1 90.6 84.4 86.0 88.5
MMLU-ProX 83.7 85.7 87.7 78.5 82.3 84.7
NOVA-63 54.6 56.7 56.7 54.2 56.0 59.1
INCLUDE 87.5 86.2 90.5 82.3 83.3 85.6
Global PIQA 90.9 91.6 93.2 86.0 89.3 89.8
PolyMATH 62.5 79.0 81.6 64.7 43.1 73.3
WMT24++ 78.8 79.7 80.7 77.6 77.6 78.9
MAXIFE 88.4 79.2 87.5 84.0 72.8 88.2
Coding Agent
SWE-bench Verified 80.0 80.9 76.2 75.3 76.8 76.4
SWE-bench Multilingual 72.0 77.5 65.0 66.7 73.0 69.3
SecCodeBench 68.7 68.6 62.4 57.5 61.3 68.3
Terminal Bench 2 54.0 59.3 54.2 22.5 50.8 52.5

（2）视觉能力

评测维度 GPT5.2 Claude 4.5 Opus Gemini-3 Pro Qwen3-VL-235B-A22B K2.5-1T-A32B Qwen3.5-397B-A17B
STEM and Puzzle
MMMU 86.7 80.7 87.2 80.6 84.3 85.0
MMMU-Pro 79.5 70.6 81.0 69.3 78.5 79.0
MathVision 83.0 74.3 86.6 74.6 84.2 88.6
Mathvista(mini) 83.1 80.0 87.9 85.8 90.1 90.3
We-Math 79.0 70.0 86.9 74.8 84.7 87.9
DynaMath 86.8 79.7 85.1 82.8 84.4 86.3
ZEROBench 9 3 10 4 9 12
ZEROBench_sub 33.2 28.4 39.0 28.4 33.5 41.0
BabyVision 34.4 14.2 49.7 22.2 36.5 52.3/43.3
General VQA
RealWorldQA 83.3 77.0 83.3 81.3 81.0 83.9
MMStar 77.1 73.2 83.1 78.7 80.5 83.8
HallusionBench 65.2 64.1 68.6 66.7 69.8 71.4
MMBenchEN-DEV-v1.1 88.2 89.2 93.7 89.7 94.2 93.7
SimpleVQA 55.8 65.7 73.2 61.3 71.2 67.1
Text Recognition and Document Understanding
OmniDocBench1.5 85.7 87.7 88.5 84.5 88.8 90.8
CharXiv(RQ) 82.1 68.5 81.4 66.1 77.5 80.8
MMLongBench-Doc – 61.9 60.5 56.2 58.5 61.5
CC-OCR 70.3 76.9 79.0 81.5 79.7 82.0
AI2D_TEST 92.2 87.7 94.1 89.2 90.8 93.9
OCRBench 80.7 85.8 90.4 87.5 92.3 93.1
Spatial Intelligence
ERQA 59.8 46.8 70.5 52.5 – 67.5
CountBench 91.9 90.6 97.3 93.7 94.1 97.2
RefCOCO(avg) – – 84.1 91.1 87.8 92.3
ODInW13 – – 46.3 43.2 – 47.0
EmbSpatialBench 81.3 75.7 61.2 84.3 77.4 84.5
RefSpatialBench – – 65.5 69.9 – 73.6
LingoQA 68.8 78.8 72.8 66.8 68.2 81.6
V* 75.9 67.0 88.0 85.9 77.0 95.8/91.1
Hypersim – – – 11.0 – 12.5
SUNRGBD – – – 34.9 – 38.3
Nuscene – – – 13.9 – 16.0
Video Understanding
VideoMME(w sub.) 86 77.6 88.4 83.8 87.4 87.5
VideoMME(w/o sub.) 85.8 81.4 87.7 79.0 83.2 83.7
VideoMMMU 85.9 84.4 87.6 80.0 86.6 84.7
MLVU (M-Avg) 85.6 81.7 83.0 83.8 85.0 86.7
MVBench 78.1 67.2 74.1 75.2 73.5 77.6
LVBench 73.7 57.3 76.2 63.6 75.9 75.5
MMVU 80.8 77.3 77.5 71.1 80.4 75.4
Visual Agent
ScreenSpot Pro – 45.7 72.7 62.0 – 65.6
OSWorld-Verified 38.2 66.3 – 38.1 63.3 62.2
AndroidWorld – – – 63.7 – 66.8
Medical VQA
SLAKE 76.9 76.4 81.3 54.7 81.6 79.9
PMC-VQA 58.9 59.9 62.3 41.2 63.3 64.2
MedXpertQA-MM 73.3 63.6 76.0 47.6 65.3 70.0

2、其他参数更小的模型

  • 0.8B / 2B → 极致轻量、快速响应，端侧设备首选
  • 4B → 轻量级 Agent 的惊喜之选，多模态能力出众
  • 9B → 体量精简，实力已逼近更大规模模型

🚀 即刻体验：
📦 Hugging Face: https://huggingface.co/collections/Qwen/qwen35
📦 ModelScope: https://modelscope.cn/collections/Qwen/Qwen35

从文本指标上看，qwen3.5 9b（dense模型）的效果和上一代的qwen3-30BA3B-Thinkging-2507的效果已经相当了：
在这里插入图片描述

在VL指标上看，qwen3.5 9b/4b能力已经是超过上一代的qwen3-vl模型（比如图片理解、文档理解、视频理解等，具体参考https://modelscope.cn/models/Qwen/Qwen3.5-9B）：
在这里插入图片描述

3、具体case推理举例

example1：部署推理qwen3.5 4b模型，这个图的几个 β \beta β是略潦草的，最终还是能识别出来：
在这里插入图片描述
识别出的结果为：

 $$\alpha _ { n + 1 } - 3 \beta = \frac { 2 } { 3 } \alpha _ { n } + \beta - 3 \beta$$

即 α n + 1 − 3 β = 2 3 α n + β − 3 β \alpha _ { n + 1 } - 3 \beta = \frac { 2 } { 3 } \alpha _ { n } + \beta - 3 \beta αn+1​−3β=32​αn​+β−3β

example2：想象一下，你还有一个小时就要吃晚饭了。根据提供的食材，想出一个三道菜的晚餐食谱。食材包括：胡萝卜、土豆、洋葱、红辣椒、三文鱼、菠菜、蘑菇和鸡蛋。

多模态模型的纯文本能力还是可以的：

根据您提供的食材，我想出了以下三道菜的晚餐食谱：

1. 洋葱香烤三文鱼：在三文鱼上放上洋葱圈和红辣椒丝，加入适量盐和黑胡椒调味，放入烤箱中烤20分钟，直到三文鱼熟透，表面金黄。

2. 土豆胡萝卜炖蘑菇：将土豆和胡萝卜切块，蘑菇切片，加入适量的水煮沸，放入土豆、胡萝卜和蘑菇炖煮20分钟，汤汁浓稠，加入盐、黑胡椒和适量的香菜调味。

3. 菠菜炒鸡蛋：先将鸡蛋打散，加入适量盐和黑胡椒搅拌均匀，放入锅中煎至金黄色，盛出备用。将菠菜洗净切段，放入锅中炒熟，加入煎好的鸡蛋，翻炒均匀，加入适量盐调味即可。

这三道菜色香味俱佳，营养丰富，满足您对晚餐的需求。希望您喜欢！

Reference

[1] Qwen3.5：更少激活参数，更强智能体能力
[2] https://github.com/QwenLM/Qwen3.5?spm=a2ty_o06.30285417.0.0.72bcc921bSC8dm&file=Qwen3.5
[3] https://qwen.ai/blog?id=qwen3.5
[4] https://modelscope.cn/models/Qwen/Qwen3.5-397B-A17B
[5] https://huggingface.co/unsloth/Qwen3.5-397B-A17B-GGUF
[6] Qwen3.5 Preview 代码解析（PR #43830）
[7] https://github.com/huggingface/transformers/pull/43830
[8] https://huggingface.co/Qwen/Qwen3.5-4B 有安装部署库注意事项
[9] [Bug]: Qwen3.5-9B (BF16/AWQ) Illegal Memory Access in vLLM v0.17.0 (WSL2/RTX3090 Ti) #36408：
https://github.com/vllm-project/vllm/issues/36408
[10] sebastianraschka技术博客：https://magazine.sebastianraschka.com/p/visual-attention-variants

# 多模态
Logo
CSDN-OPC开发者社区

这里是“一人公司”的成长家园。我们提供从产品曝光、技术变现到法律财税的全栈内容，并连接云服务、办公空间等稀缺资源，助你专注创造，无忧运营。

更多推荐

企业都在用金智维 RPA+AI 智能体的原因是什么？一文看懂

单纯依赖大模型自主决策的智能体，最大的风险是“幻觉”——模型在缺乏足够信息或规则约束时，可能生成看似合理但实际错误的执行动作，这在客服聊天场景问题不大，但放进资金核算、信贷审批这类流程里就是生产事故。金智维这套RPA+AI路线，适合的是金融机构、政务单位、大型央国企——有复杂业务流程、强合规要求、老旧IT系统需要低改造成本对接的组织，尤其是资金核查、信贷审批、监管报送、反洗钱排查这类规则明确但操作

avatar CSDN-OPC开发者社区
cover

垂直 Agent 窗口收窄：从「三层分化」到退出路径的创业者框架（技术视角）

avatar CSDN-OPC开发者社区

企业 AI 智能体实施周期短吗？各阶段费用明细

两家智能体厂商同台竞标，A方案报价比B方案低30%，采购部门的第一反应通常是签A。但如果A方案的实施周期比B方案多出两个月，期间还需要为大模型能力定制追加一笔预算——企业评估AI智能体采购成本时，普遍只看报价单上的数字，这是选型决策中最常见的认知偏差。真正决定项目成败和投入产出比的，是显性成本、隐性成本、机会成本三者叠加后的。

avatar CSDN-OPC开发者社区