从 LLM 到认知智能体：我如何让一个 1.5B 小模型拥有“世界模型”、“奖励系统”和“多智能体协作”

这不是一篇教你调 API 的文章，而是一篇记录我如何用工程手段，让一个小模型拥有接近人类思维方式的完整架构。

写在前面

2026 年初，我开始构建一个 AI 智能体。最初的动机很简单：市面上有很多“套壳”的 AI 应用，本质上只是把用户问题转发给 API，再把结果返回去。我想做一个真正有思考能力、有记忆、会反思的智能体。

经过几个月的迭代，这个项目从最初的几千行 chat_ui.py 演变成了一个包含 60+ 模块、17 个增强引擎、5 种推理模式 的认知架构。本文将完整披露这个系统的核心设计。

GitHub 地址：（你的 GitHub 地址，如果有的话）

---

一、总体架构

text

用户输入
    ↓
┌─────────────────────────────────────────────┐
│  推理模式选择（普通 / 深度 / 类人 / 超级 / 融合）  │
└─────────────────────────────────────────────┘
    ↓
┌─────────────────────────────────────────────┐
│  认知增强管道                                │
│  心智模型 → 意图推测 → 多智能体 → 世界模型择优    │
│  → 元认知审查 → 情感引擎 → 分层记忆            │
└─────────────────────────────────────────────┘
    ↓
最终输出

系统由 六大核心层 组成：

层级	组件	功能
推理加速层	DSpark / JetSpec / Mamba	推理速度优化
推理核心层	心智模型 / 元认知 / ToT / MCTS / 因果推理	深度推理与搜索
世界模型层	认知世界模型 / 奖励模型	推演与评估
记忆与人格层	ACT-R 分层记忆 / 遗忘曲线 / 情感引擎 / 自我叙事	长期记忆与人格形成
多智能体层	规划员 / 研究员 / 编码员 / 校验员	协作式任务求解
保护层	安全推理循环 / 超时保护 / 健康监控	系统稳定性

---

二、核心创新一：世界模型 + 奖励模型

2.1 为什么需要世界模型？

传统 LLM 是“单步推理”——输入问题，直接输出答案。但人类在做复杂决策时，会先在脑中模拟不同选择带来的后果。

世界模型做的事情就是：对未来进行推演。

text

生成 3 个候选回答
    ↓
世界模型并行模拟每个回答的后果
    ↓
评估每个模拟结果的“长期价值”
    ↓
选择最优回答

2.2 奖励模型：让 AI 学会“品味”

世界模型负责推演，但“什么是好答案”需要奖励模型来定义。

我手工构建了 300+ 组偏好数据，格式为 (问题, 优质回答, 较差回答)。然后训练世界模型中的奖励头，让它学会区分好坏。

关键技巧：

• 使用 MSE + tanh 约束 替代 MarginRankingLoss，让输出分数稳定在 ±0.5 区间

• 针对回测中判断错误的题型，精准追加 10-20 条极端对比数据

• 从 50% 方向准确率提升到 90%+

---

三、核心创新二：多智能体协作

3.1 为什么单模型不够？

单个模型即使再强，也存在“思维定势”——它只能从一个角度思考问题。

我设计了一个三智能体团队：

Agent	角色	职责
规划员	架构师	拆解任务为子步骤
研究员	情报员	联网搜索相关信息
编码员	执行者	根据规划和研究结果生成最终输出

3.2 “分而治之”策略

对于复杂项目（如“写一个 macOS 桌面模拟器”），不让单个 Agent 一次性生成所有代码。而是：

1. 规划员将项目拆解为 3-5 个小模块

2. 编码员逐个生成每个模块

3. 最后整合为完整项目

这大幅降低了单个输出的出错概率。

---

四、核心创新三：五种推理模式

模式	触发方式	适用场景
⚡ 普通对话	默认	日常聊天
📄 企业问答	下拉菜单	基于内部文档回答
🔍 深度思考	下拉菜单	需要反复推敲的问题
🧠 类人推理	下拉菜单	需要理解语境和意图
🔥 超级模式	下拉菜单	全引擎启动
🌌 融合推理	下拉菜单	类人 + 超级 + 深度三合一

4.1 类人推理：让 AI 学会“换位思考”

类人推理的核心是 心智理论——推测用户的隐藏意图、情绪和知识盲区。

流程：

1. 构建心智模型：在脑中搭建问题场景

2. 意图推测：分析用户的深层需求

3. 链式推理：显式分步推导

4. 元认知审查：自我质疑、修正漏洞

5. 情感引擎：根据当前情绪调整回答风格

4.2 融合推理：三种模式的精华

融合推理 = 类人推理（心智模型 + 意图推测）+ 超级模式（多智能体 + 因果推理）+ 深度思考（多候选择优 + DSpark 验证）

这是目前系统最强的推理模式，适用于复杂科学问答和深度分析。

---

五、实践经验

5.1 数据质量 >> 模型大小

我使用 1.5B 小模型，通过手工构建的 300 组偏好数据，将奖励模型准确率从 50% 提升到 90%+。换成 7B 模型后，效果进一步提升。

教训：不要盲目追求大模型，高质量的训练数据才是关键。

5.2 模块化 > 单体架构

最初所有逻辑都在 chat_ui.py 里，文件超过 6000 行。后来重构为：

• 独立模块 60+

• 每个模块可独立测试和替换

• 通过命令注册表统一管理

5.3 防御性编程

任何一个模块崩溃都不应该影响整体响应。每个模块调用都用 try-except 包裹，失败时静默降级。

---

六、下一步

• Docker 封装，一键部署

• Electron 桌面应用

• 多用户会话隔离

• 40B 大模型适配（需升级显卡）

---

七、写在最后

这个项目从最初的一个简单聊天功能，一步步成长为一个拥有世界模型、奖励系统、多智能体协作、类人推理的认知架构。如果你正在构建自己的 AI 系统，希望这篇文章能给你一些启发。

欢迎交流：如果你对某个模块的实现细节感兴趣，或者想合作，可以在评论区留言或通过 GitHub Issue 联系我。

---

本文由作者的 AI 智能体协助整理和润色。