前言

检索增强生成（Retrieval-augmented generation，RAG）作为一种关键范式，它通过融入外部知识来提升大型语言模型（LLMs）的能力。RAG的有效性很大程度上取决于检索器和大语言模型之间的对齐程度以及各组件间的紧密交互和协作。然而这些组件通常是独立开发的，没有共同训练，这可能会导致语义不匹配和次优交互：检索器可能无法根据 LLM 的需求提供合适的信息，而 LLM 可能难以生成有效的查询(query)来指引检索器或者无法无缝整合检索到的内容。

因此，该工作通过观察人类的搜索行为，发现人类在使用检索时通常涉及反复搜索查询、审查文档和规划推理等行为，直到在文档中找出正确的答案或者在脑海中浮现出正确的答案。因此，该工作模仿人类搜索行为，提出了C-3PO，这是一个以代理为中心的对齐框架，它采用轻量级的代理来促进检索器和 LLM 之间的通信，而无需修改或损害其原始功能。

C-3PO在单个代理模型中集成了一个多智能体系统，其中多个智能体以人类的工作方式协助整个 RAG工作流。为了更好的优化这个代理，C-3PO将检索器和 LLM 视为环境的一部分，采用多智能体强化学习进行端到端训练。其中，C-3PO引入了树状结构的Rollout机制和蒙特卡洛信用分配来改善不同智能体之间的奖励分配问题。实验结果表明，C-3PO在域内和分布外数据集，甚至是完全域外的检索器和LLM上，都取得了稳健的性能，展现了其即插即用的可扩展性和卓越的泛化能力。

论文地址：

https://arxiv.org/abs/2502.06205

项目地址：

https://chen-gx.github.io/projects/C-3PO

Demo地址：

https://www.modelscope.cn/studios/Decaderan/C-3PO/summary

协作的多智能体系统

（Cooperative Multi-agent System）

受人类行为的启发，C-3PO设计了三个专门的智能体——推理路由器、信息过滤器和决策者——以促进检索器和 LLM 之间的交流（图1）。这些智能体使用特定的指令在单个轻量级代理模型中充当不同的角色，协作管理 RAG 流程的各个方面。这种设计确保了高效的协调，同时保持了端侧部署的简单性。

图1. C-3PO的整体框架。（左上）在人类行为中，与高效 RAG 系统交互所需的基本认知能力。（右上）以代理为中心的对齐框架通过轻量级多智能体系统模拟这些人类交互。（底部）多智能体系统的端到端优化流程。

各个智能体的定义如下：

推理路由器（Reasoning Router）负责根据给定问题，确定最佳推理策略。

1. 确定检索的必要性：如果认为不需要检索（[No Retrieval]），则该问题由 LLM 直接处理，仅利用其固有知识。

2. 确定问题的复杂性：如果认为需要检索，推理路由器会评估该问题的复杂性来确定后续推理策略。

3. 对于简单问题，推理路由器生成单个查询（[Retrieval] ）来调用检索器以获取相关文档。然后，信息处理器过滤检索到的文档，以提取有帮助的内容。

4. 对于复杂问题，推理路由器输出（[Planning]）来触发多步骤推理策略。

信息过滤器（Information Filter）负责处理和过滤检索到的信息。其状态空间包括问题、检索到的文档和当前推理目标（如果是[Planning]模式）。

决策者（Decision Maker）负责在[Planning]策略中，根据当前状态确定最佳的下一步动作。其状态空间包括问题、LLM 生成的路线图（Roadmap）以及推理历史中积累的文档。

1. [Retrieval] ：继续检索-过滤循环以获取有帮助的信息。

2. [LLM]：认为信息已经足够，将积累的文档信息交给LLM进行回答。

同时，C-3PO定义了不同的协作策略来有效处理不同类型的问题：

1. 直接回答策略（Direct Answering Strategy）：无需额外信息，直接由LLM进行回答（对应[No Retrieval]）。

2. 单次传递策略（Single-pass Strategy）：仅进行单次检索-过滤操作（对应[Retrieval]）。

3. 多步推理策略（Multi-Step Reasoning Strategy）：旨在处理需要 LLM 生成的路线图和多个检索过滤循环的复杂问题（对应 [Planning]）。它通过以下三个阶段实现迭代信息收集和推理：

4. LLM生成路线图：LLM 将复杂问题分解为一组结构化的子目标，为代理提供高层次的指导。

5. 检索-过滤循环：在路线图的指导下，决策者评估当前进度，确定下一个目标，并为检索-过滤循环生成子查询，直到决策者确定累积的文档包含足够的信息来解决所有子目标。

6. 获取最终答案：所有累积的信息都传递给 LLM 以生成答案。

值得注意的是， LLM 在[Planning]策略中只被调用两次（生成路线图和最终回答问题），从而最大限度地减少了计算开销。此外，检索-过滤的次数可能并不直接对应于子目标的数量，因为一次检索可能会解决多个子目标，或者需要多次尝试才能实现一个子目标。

通过这三种策略，该多智能体系统可以自适应地处理不同复杂度的问题。推理路由器会根据每个问题的特点自动选择最合适的策略：直接回答策略为一般知识提供即时响应；单次传递策略有效地解决只需一次检索的简单单跳问题；多步推理策略在LLM生成的Roadmap的指导下迭代推理，解决复杂问题。这种分层方法将计算工作量与问题复杂性相结合，确保最佳资源利用率，同时保持较高的响应质量。

多智能体代理优化

（Multi-Agent Proxy Optimization）

由于 LLM 生成的最终答案可以直接评估为系统级奖励，因此使用强化学习来优化代理模型是非常直观的。但是，代理中的每个智能体都充当RAG系统中的中间模块，仅负责 RAG 工作流的部分内容。这使得定义智能体级别的奖励变得困难。例如，由于后续文档过滤效果不佳，高质量的生成查询仍可能导致较低的系统级奖励。为了应对这一挑战，C-3PO提出了一种树状结构的rollout方法，用于稳健的在线策略学习，并在早期阶段采用确定性rollout，在后期阶段利用随机rollout扩大探索空间。

树状结构的信用分配机制

为了避免传统单一轨迹中奖励稀疏的问题，C-3PO提出了树状结构的rollout以进行信用分配，以期望的形式将系统级奖励分配给不同的智能体，以缓解每个智能体局部奖励的高方差问题。核心思想是通过强制推理路由器在每个问题的rollout过程中探索所有可能的推理策略来评估每个智能体的贡献（图1 底部）。

确定性rollout：如图1所示，C-3PO在rollout的第一阶段确定性地探索所有可能的策略分支（[No Retrieval], [Retrieval], [Planning]）来构建决策树，从而全面了解每个策略中智能体的决策如何影响最终结果。

随机rollout：一旦在确定性rollout中确定探索策略，后续rollout将采用随机采样的方式来扩展决策树。对于每个非终止节点，从代理模型 中随机抽取 个候选动作，用于逐层扩展深度为 的第 i 个智能体:

其中 表示第 个代理的任务特定指令， 表示深度 处的动态分支因子，平衡探索和计算效率。

蒙特卡洛信用分配机制

如图1所示，C-3PO不是为每个问题探索单个轨迹而是通过树状结构的探索创建一个包含多个轨迹的决策树。这种树结构使C-3PO能够追踪单个决策如何影响系统级结果。对于每个代理生成的节点 ，C-3PO基于系统级奖励以期望的形式计算每个智能体的奖励：

其中 表示从 可达的叶节点集合， 是叶节点 的最终奖励。

该工作提出的蒙特卡洛信用分配机制与单一轨迹部署相比具有几个关键优势：

(1) 树结构的探索彻底探索了每个问题的所有可能策略，为每个代理生成了大量中间训练示例（更大的探索空间）。

(2) 相比于在单个轨迹中将系统级奖励分配给每一个智能体，C-3PO使用树结构以概率期望的形式更准确地估计每个智能体节点的奖励。

实验效果

该工作从各个角度全面评估了C-3PO的性能，包括域内的单跳、多跳数据集（图2），域外最新的RAG评测数据集以及域外检索器和大模型上的性能（图3）。总体而言，仅优化少量参数（0.5B-1.5B）的情况下，C-3PO在各种单跳和多跳数据集上表现出出色的性能。而在各种域外设定下，C-3PO取得了非常鲁棒的结果，展现出其即插即用的特点。

图2. 在域内单跳、多跳数据集上的性能

图3. 在域外的数据集、检索器、大模型下的实验结果

此外，C-3PO对比了各类方法之间性能和推理开销之间的关系。由于轻量级的代理设计以及层次化的推理策略，C-3PO在推理性能和推理开销之间取得了较好的平衡。

总结

该工作提出了C-3PO，一个以代理为中心的对齐框架，它通过轻量级多智能体系统促进检索器和 LLM之间的通信。C-3PO通过利用多智能体强化学习、树状结构的Rollout和蒙特卡洛信用分配机制，端到端地优化了多个智能体，而无需修改现有的 RAG 组件。大量实验证明了C-3PO在不同的数据集、检索器和 LLM 上展现出卓越性能和强大的泛化能力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】