图解AI大模型通识：21张图强化LLM与Agent 理论基础

派派百晓生

416人浏览 · 2026-03-11 14:02:13

派派百晓生 · 2026-03-11 14:02:13 发布

前言

大模型技术日新月异，新概念层出不穷。初学者就像走进了一个巨大的"技术超市"：今天被 Transformer 的"注意力机制"吸引，明天又被 Prompt 的"魔法咒语"迷住，后天 LangChain 又来"拉链式"地串联一切。结果就是——购物车里装满了各种"商品"，但回到家后一下子不知道怎么搭配使用。大模型学习过程容易出现知识碎片化、缺乏系统性，难以形成深度理解和持久记忆。

更要命的是，大模型发展的速度大于整理文章的速度！本文旨在通过可视化图解的形式整理相关概念，辅助构建从 AI 基础到 Agent 应用的知识体系，帮助读者系统掌握大模型技术的核心逻辑和演进脉络。

一、人工智能技术基础：从符号主义到深度学习

1.1 人工智能技术架构

在学习 AI 的过程中，如果能对整个技术版图有一个大致轮廓，知道每个知识点大概处于哪个层级和位置，对学习效果非常有帮助。

人工智能是一个庞大的知识领域，远不是几张图或少数术语所能完全概括。大多数人脑中其实已经「预训练」了不少 AI 知识，本文希望通过一个框架性的整理，对你的「大脑模型」进行一次小小的「微调」。

图 1：人工智能领域架构图

1.2 人工智能的分层领域

核心关系：人工智能（AI） → 机器学习（ML） → 深度学习（DL）。

发展历程：

符号主义时代（1950s-1980s）
：基于规则的专家系统，依赖人类显式编写规则。
机器学习时代（1990s-2000s）
：从数据中自动学习规律，开始弱化「手工规则」。
深度学习时代（2010s-2020s）
：大规模神经网络在语音、视觉、NLP 等领域全面开花。
大模型时代（2020s 至今）
：超大规模预训练模型、生成式模型爆发，迈向通用智能。

图 2：深度学习与大模型的关系

1.3 深度学习的核心：神经网络家族

神经网络（Neural Network）的基础是简单的感知机模型，由输入层、隐藏层、输出层组成，主要用于通用的模式识别任务。

在深度学习的发展中，出现了多种典型架构：

模型	特点	优势	应用 / 局限
CNN（卷积神经网络）	局部连接、参数共享	对局部空间特征敏感，参数量可控	广泛用于图像分类、目标检测等视觉任务
RNN / LSTM（循环神经网络）	序列建模、具备记忆机制	能够处理时间序列、文本序列	难以并行计算，长距离依赖问题明显
Transformer	Self-Attention 机制、完全并行化	解决 RNN 并行性与长距离依赖问题，为大模型奠基	已成为 NLP、多模态等领域的大一统架构

Transformer 与 CNN、RNN 处于同一层级，都是神经网络的基础架构模式。Transformer 的革命性在于：

摆脱序列依赖，支持完全并行化训练；
更好地建模长距离依赖；
为大模型的扩展提供了可行的工程路径。

1.4 机器学习的范式：监督 / 无监督等学习方式

深度学习是机器学习的子领域，而「监督学习 / 无监督学习 / 强化学习」等，是从学习范式的角度对机器学习进行的分类。

学习方式	数据标注	主要特点	典型应用
监督学习	完全标注	学习输入到输出的映射关系	分类、回归（如垃圾邮件识别、房价预测）
无监督学习	无标注	从数据中发现模式和结构	聚类、降维（如用户分群、特征压缩）
强化学习	奖励 / 惩罚反馈	在环境中通过试错学习最优策略	游戏 AI、机器人控制等
半监督学习	部分标注	结合少量标注与大量未标注数据	文本分类、图像识别等标注成本高的任务
自监督学习	自构造标签	从数据本身构造预测任务来学习表示	预训练模型、BERT 等基础模型训练

核心区别：

监督 / 无监督的关键在于是否使用带标签的数据；
强化学习则通过试错 + 奖励信号来学习决策策略。

1.5 为什么需要大模型？

从传统模型到大模型，本质是从「专家系统」走向「通用智能」的过程：

传统模型
：类似「专门训练的专家」，针对单一任务精调，泛化能力有限。
大模型
：类似「知识渊博的通才」，在统一模型中承载多任务、多领域能力。

图 3：传统模型 vs 大模型对比图

二、大模型技术：从 Transformer 到模型应用

2.1 大模型领域知识框架

大模型领域概念众多，包括架构、训练范式、推理方式、应用形态等。可以从以下几个层次进行理解：

底层基础：
算力、数据、模型架构（如 Transformer）。
训练与对齐：
预训练、微调、指令微调、对齐（RLHF 等）。
能力扩展：
工具调用、RAG、长上下文、代码能力、多模态。
应用形态：
聊天助手、代码助手、搜索增强、Agent、Multi-Agent 等。

图 4：大模型领域架构图

2.2 大模型发展历程

大模型的发展可以简单概括为从「预训练语言模型」逐步演进到「通用多模态 Agent 平台」：

早期：基于统计与 n-gram 的语言模型。
中期：基于 RNN / LSTM 的语言建模。
转折点：Transformer 架构提出后，开始大规模预训练。
大模型阶段：GPT 系列、BERT 系列、各国与各厂商自研模型蓬勃发展。

图 5：大模型发展时间轴图

图 6：2025 年主流大模型

2.3 Transformer 架构：并行化的革命

前面提到 RNN / LSTM 的主要问题：

难以并行：序列依赖严格，无法充分利用现代硬件并行能力。
长距离依赖弱：对很久之前的信息容易「遗忘」。

Transformer 的核心解决方案：Self-Attention 机制。

图 7：Transformer 核心架构图

1）Self-Attention（自注意力）

概述：
让序列中的每个元素都能与其他所有元素「对话」，通过计算相似度分配注意力权重，从而捕捉序列内部的依赖与语义关系。
比喻：
就像你在读一段话时，会自动把每个词与整段话中其他词联系起来，理解它在上下文中的真正含义。

2）多头注意力（Multi-Head Attention）

概述：
将输入向量拆分成多个「头」，每个头独立学习一套注意力权重，从不同「视角」关注信息。
比喻：
好比让多个专家从不同角度分析同一段文字，再综合他们的结论。

3）位置编码（Positional Encoding）

问题：
Self-Attention 本身对「顺序」不敏感。
解决：
通过显式加入位置编码，让模型知道每个 token 所在的位置。

4）编码器-解码器架构（Encoder-Decoder）

概述：
编码器负责理解和压缩输入信息，解码器在此基础上逐步生成输出序列。
比喻：
编码器像「理解者」，解码器像「表达者」，常用于机器翻译、文本摘要等任务。

Transformer 的革命性意义：

彻底解决 RNN 在并行化上的瓶颈；
为大规模预训练提供高效架构；
成为现代大模型的事实标准。

2.4 大模型的训练三阶段：预训练、微调、对齐

分类	预训练（Pre-training）	微调（Fine-tuning）	对齐（Alignment）
目标	学习语言的基础表示和知识	适应特定任务或领域	让模型行为符合人类价值观与期望
数据	大规模无标注文本数据	有标注的任务相关数据	人类反馈数据、偏好数据等
方法	自监督学习（掩码语言模型、下一词预测等）	监督学习或指令微调（Instruction Tuning）	RLHF、人类偏好建模、Constitutional AI、DPO 等
结果	获得基础语言理解与生成能力	在特定任务上性能大幅提升	模型更安全、有用、诚实
比喻	给模型「灌输知识」	在专业方向上「精进」	培养「情商」与「沟通能力」

2.5 大模型的分类与应用

大模型可以从多个维度进行分类，例如：

按模态：文本模型、图像模型、语音模型、多模态模型等。
按用途：通用对话模型、编程模型、搜索增强模型、Agent 型模型等。
按部署形态：云端大模型、本地轻量模型、端侧模型等。

图 8：大模型分类与应用

2.6 Prompt Engineering：与 AI 对话的艺术

Prompt 是人与 LLM 之间的桥梁，清晰的 Prompt 是指令模型的灵魂。

好的 Prompt：目标清晰、约束明确、步骤拆解合理、提供适当上下文。
差的 Prompt：指令模糊、缺乏边界条件、缺少示例、缺少角色设定。

图 9：Prompt 介绍图

2.7 RAG：检索增强生成

RAG（Retrieval-Augmented Generation）是一种将外部知识检索与大模型生成结合的技术路线：

在调用大模型前，从向量数据库或搜索引擎中检索相关文档；
将检索到的内容与用户问题一起输入模型；
模型在「读完资料」的基础上进行回答，提升准确性与时效性。

图 10：RAG 介绍图

三、智能体（Agent）技术：让 AI 具备行动能力

3.1 智能体（Agent）的定义

许多人对 AI Agent 的概念比较模糊，一个重要原因是：Agent 在不同语境下有多种定义。可以从三个视角理解：

（1）学术视角

AI Agent = 具备以下能力的智能实体：

感知能力（Perception）
决策能力（Decision Making）
行动能力（Action）
目标驱动（Goal Oriented）

它不是一个简单的模型，而是一个能够在环境中自主运行的智能体。

（2）现代大模型时代的视角

在大模型时代，AI Agent 通常包含：

大模型（LLM / 多模态模型）
：核心的推理、理解与生成能力。
记忆（Memory）
：存储长期知识、上下文与交互历史。
工具使用（Tool Use / Function Calling）
：调用 API、数据库、搜索引擎、代码执行器等外部能力。
规划（Planning）
：将复杂任务拆解为可执行步骤，进行反思与迭代。
行动（Action）
：根据计划调用工具、操作系统或应用，直至完成目标。

（3）产品 / 工程视角

从产品和工程实践看，AI Agent 是一个可以持续运行、可重复执行任务、能自主完成工作的软件智能体，例如：

自动写代码、运行代码、修复错误的 AI Dev Agent；
自动处理客户咨询、工单流转的 AI 客服 Agent；
自动分析业务数据并生成结论的 AI 分析 Agent 等。

总结定义：

广义：
AI Agent 是一种能够在环境中自主感知、思考、规划并执行行动，以达成特定目标的智能系统。
与大模型关系：
Agent 不一定必须包含大模型，但当前主流 Agent 基本都以 LLM 或多模态模型为核心，外接工具调用、记忆与规划机制，形成类似人类执行任务的闭环能力。

更易落地的当下定义：AI Agent 是基于大模型的自主智能系统，具备感知环境、保持记忆、进行规划、调用工具并执行行动以实现明确目标的能力。

3.2 智能体和大模型：从「大脑」到「完整的身体」

大语言模型（LLM）
：相当于一个「强大的大脑」，具备丰富知识和推理能力，但本身没有「手脚」，无法直接感知世界或执行操作。
智能体（Agent）
：在拥有「大脑」（LLM）的基础上，再加上「手脚」（Tool）和「记忆」（Memory），可以主动感知、规划、行动和反思。

3.3 智能体的四大核心组件

最常见的一张图，会把智能体拆解成四大核心组件：

图 11：智能体核心组件原图

图 12：智能体核心组件翻译图

模块	功能	能力	比喻
大脑模块（Brain / LLM）	推理、规划、决策	逻辑推理、因果分析、任务分解	Agent 的「大脑」
工具模块（Tool Module）	执行具体操作	Function Calling、API 调用、代码执行等	Agent 的「手脚」
记忆模块（Memory Module）	存储短期与长期信息	短期记忆（对话历史、上下文窗口）与长期记忆（向量数据库、知识图谱）	Agent 的「记忆」
规划模块（Planning Module）	任务分解、执行路径规划	制定、调整与优化任务执行计划	Agent 的「计划能力」

3.4 智能体的工作流程：感知 - 决策 - 行动 - 反思

本文侧重的是基于大模型的智能体（LLM Agent），其典型流程包括：

图 13：智能体执行流程图

图 14：智能体循环（Agent Loop）

智能体循环的核心步骤：

感知（Perception）
：通过传感器（如 API 监听、用户输入接口）接收来自环境的输入信息，这些信息即为观察（Observation）。
思考（Thought）
：由大语言模型驱动的内部推理过程，可细分为：
- 规划（Planning）
  ：结合当前观察与记忆，更新对任务与环境的理解，制定或调整行动计划，将复杂目标拆解为子任务。
- 工具选择（Tool Selection）
  ：从可用工具库中选择最合适的工具，并确定调用参数。
行动（Action）
：通过执行器（Actuators）执行具体行动，通常表现为调用某个工具（如代码解释器、搜索 API 等），对环境施加影响。
观察与反思
：根据行动结果更新记忆与计划，进入下一轮循环。