Agentic AI 架构入门（十二·完结）：ADLC、AgentOps 与企业级平台蓝图

课程：《Agentic AI Architectures with Patterns, Frameworks and MCP》笔记整理（第 543–595 页，收官）

---

1. ADLC：Agent 开发生命周期（7 阶段）

1.1 什么是 AI Agent 开发 + 概率性转变

• AI Agent 开发不是「提示词工程」或「模型训练」——是构建、测试、治理、管理自主目标驱动软件系统的正式工程学科
• 核心挑战：概率性转变（Probabilistic Shift）：
  • 旧路（确定性 SDLC）：Input X → f(x) → Output Y，f(5) 永远返回 10，返回 11 就是 bug——测试二元正确性（Pass/Fail）
  • 新路（概率性 ADLC）：Goal → Agent(Goal + Context) → Result，可能返回结果 A 或 B，两者都可能是有效的——天生非确定性，这改变了一切开发和 QA 方式

1.2 为什么传统 QA/DevOps 失效 → ADLC

传统工具测不了「推理」、监控不了「困惑」。ADLC = SDLC + MLOps + 新的「认知」实践——为管理概率性软件而生的新正式流程。

1.3 7 阶段总览

1. Goal Setting & Scoping（目标设定与范围）：定义 Agent 做什么、不做什么——目标会成为 System Prompt 的技术部分
2. Design（设计）
3. Framework, Model & Tool Selection（框架/模型/工具选型）
4. Build（构建）
5. Training（训练，可选）
6. Evaluation（评估 = 新的「测试」）
7. Deployment & Monitoring（部署与监控 = 「AgentOps」）

ADLC 是管理概率性软件的 7 步迭代流程。最难的 = 两个新阶段：Phase 6 评估（怎么测？）+ Phase 7 AgentOps（怎么监控？）

---

2. 深潜：评估（新的「测试」）

2.1 为什么传统单元测试失败

无法预测输出 → 传统单元测试（断言精确输出）对 Agent 无效。新范式：测试「过程」而非「输出」：

• 测输出（The “What”）：机器人给精确答案（“42”）→ 检查表（质量/一致性/安全性）→ “这是个好答案吗？”
• 测过程（The “How”）：用户问"你有墙板吗？"→ 思维导图展示 Agent 推理轨迹（工具调用 get_inventory → 数据库响应"Yes, 5 units"→ 事实错误）→ "Agent 思考得对吗？"→ 需要新技术评估过程

2.2 技术 1：创建「测试数据集」

你的新「测试套件」不再是 .py 文件，而是 「黄金集（golden set）」——50/100/1000 个真实世界场景。这个数据集成为 Agent 所有未来版本的基准。

2.3 技术 2：LLM-as-a-Judge（LLM 当裁判）

• 问题：100 个场景，谁给 100 个非确定性答案打分？
• 方案：用另一个更强大的 LLM 当「裁判」——三步流程：①被测 Agent（Scenario #1 Input → Agent Answer 非确定性）→ ②Judge LLM（输入 JUDGE PROMPT → 输出 JSON，如 {"Helpfulness": 9, "Polite": 10, "Rules": "Y"}）→ ③自动化测试结果（结构化分数 JSON）

2.4 新 QA 管道

1. 单元测试（确定性）：测工具（你的 add(2,2) 函数仍然要有单元测试）
2. 评估管道（概率性）：测试数据集（黄金集）→ Agent 跑全量数据集 → LLM-as-a-Judge 给质量打分 → 轨迹分析（Trace Analysis）：「白盒」测过程确保工具使用正确

这就是 Agent 的新 CI/CD 管道

---

3. 深潜：AgentOps（可观测性与监控）

3.1 什么是 AgentOps

「Agent 的 DevOps」——管理、监控、确保生产环境中 AI Agent 的性能、质量和成本的实践与工具集。

• 传统 DevOps 监控系统健康（「身体」）——服务器/CPU/内存监控、API 健康检查（200 OK）、错误日志（500）
• 新 AgentOps 监控认知健康（「心智」）——思维混乱、规则守卫、思维链（Chain of Thought）

3.2 基础：可追溯性（Traceability）

「500 错误」容易记日志——怎么记录「困惑」？ 方案：必须记录 Agent 的整个推理轨迹（reasoning trace）——没有它，其他所有指标都无法调试。

3.3 关键指标 + 新仪表盘

• 硬指标（性能与成本）：成本、延迟、工具调用次数等
• 认知指标（质量与安全）：工具失败、用户情绪、幻觉
• 新仪表盘 = 系统健康 + 认知健康：基于可追溯性（记录「想法」），新增指标：成本、工具失败、用户情绪、幻觉

---

4. LLM 护栏（Guardrails）

4.1 新威胁模型：概率性风险

传统安全 100% 必要，但不再充分——有了新的「概率性」攻击向量和风险：注入（Injection）、滥用（Abuse）、泄漏（Leakage）。

4.2 定义 LLM 护栏

• LLM Guardrails = 围绕 LLM 程序化强制实施的一组预定义规则、过滤器、策略
• 目标：约束非确定性「大脑」输出特定格式/上下文，并验证它的每个响应
• 强制：结构（输出必须是合法 JSON）、类型（不得含毒语言）、质量（必须事实核查来源）

它们是 Agent「心智」的防火墙

4.3 护栏工作方式：输入 vs 输出

数据流时间轴：Chat message → Guardrail input validation（输入护栏校验） → LLM text generation → Guardrail output validation（输出护栏校验） → Chat response。

• 输入护栏（保护 Agent 免受攻击）：阻止提示注入（Prompt Injection）、清理 PII、过滤内容
• 输出护栏（保护用户免受 Agent 攻击）：验证工具调用（JSON）、检查幻觉、确保品牌安全

4.4 两个安全模式

1. HITL：输出护栏检查「高风险」动作——能移动资金或修改关键数据的不可协商模式
2. Ejection & Secure Tooling（MCP）：弹出 + 安全工具化

4.5 架构师的答案（治理与责任）

• 可追溯性就是我们的防御：AgentOps 是关键——不可变、可审计的完整推理轨迹日志——能证明 Agent 为什么做某个决定、通过了哪些护栏
• 没有可观测性就没有治理（Governance is impossible without Observability）
• 大问题（C 级/法律/合规）：Agent 犯下数百万美元错误时谁负责？
• 总结：新威胁模型（注入/滥用/泄漏）→ LLM 护栏层（输入&输出）→ 安全模式（HITL/Ejection/MCP）→ 用治理和可追溯性管理风险

---

5. 工具生命周期：管理 MCP Server

5.1 manifest.json = 「API 契约」+ 新的「破坏性变更」

Agent 只是方程的一半，另一半是工具（MCP Servers = 企业 API，有自己的开发/部署/管理生命周期）——「工具的 DevOps」。

从人类可读契约到机器可读契约的转变带来危险新影响：

• 问题：被提示词和训练「教导」理解旧描述的 Agent，面对新描述可能「困惑」、概率性地不再选这个工具
• 关键洞察：manifest.json 里一个善意的文字修改 = P0 级生产崩溃 bug

5.2 最佳实践

1. 严格版本化（非协商）：v1 Agent 继续工作，v2 Agent 用「改进」的新工具——「DevOps 101」纪律。永远不要改一个已发布的 manifest
2. 安全与部署：像保护任何关键任务微服务一样保护和监控 MCP Server

MCP Servers 是服务 AI 的企业 API，它们本身不是 AI；manifest 是脆弱的破坏性契约；严格版本化不可协商

---

6. 参考架构：Agentic AI 平台蓝图（收官）

6.1 3 万英尺视角：设计时 vs 运行时

• 左蓝 Design-Time「Agent Factory」：开发者 + 笔记本/工具、数据库/测试数据评估、ADLC Build & Evaluation Steps
• 右绿 Run-Time「Agent Grid」：云、部署、负载均衡器、监控、ADLC Deployment & Monitoring Steps
• 中间 = Bridge: Deployment Pipeline (CI/CD)

6.2 四大支柱组件

#	组件	区域	目标
1	Agent Factory（Agent 工厂）	设计时	产出经过验证、版本化、可部署的 Agent——输出：「版本化 Agent 包」（Docker 容器）
2	Agent Runtime（Agent 运行时）	运行时	执行、扩展、保护——「K8s for Agents」
3	Tool Server（工具服务器）	集成层	提供到企业系统的单一、安全、稳定桥梁——解耦 Agent Runtime 与企业后端
4	AgentOps Platform（监控平台）	监控	全平台整体可观测性——整个系统的「反馈回路」

6.3 完整蓝图要点

• Design-Time：Agent Factory（Agent 代码和模型、评估框架 CI/CD + LLM-as-a-Judge、验证和打包）
• Run-Time：Agent Runtime（有状态实例 K8s Pods、Guardrails HITL/Ejection）
• Integration：Tool Server（MCP Gateway：MCP API 网关、数据库、Legacy APIs、微服务、企业数据&API）
• Monitoring：AgentOps Platform（Trace Logs 想法、System Logs 身体、Metrics Dashboard、Governance & Liability 治理与责任）
• 箭头从左到右 + Optimization Loop 优化反馈环

支柱	关键词
1. Factory 工厂	设计、构建、评估
2. Runtime 运行时	执行、扩展、安全
3. Gateway 网关	集成、解耦、管理
4. Monitor 监控	观察、追踪、治理

有了这个蓝图，你可以分析任何厂商的产品，或构建自己的

---

7. 小结：整门课全景（1–595 页）

模块	页数	核心
导论 + 进化	1–63	GenAI → AI Agent → Agentic AI（顾问→工人→工厂）
组件解剖	64–172	7 部件 + PRAL 循环 + Research Assistant 实战
多智能体系统	173–217	Orchestration vs Choreography + MAS 四大挑战
Agentic 工作流	218–253	State/Nodes/Edges + 四大编排模式 + LangGraph
框架全景	254–291	三分类：通用/专才/托管 + Build vs Buy
设计模式	292–394	四原则 + 四核心模式 + 四协作模式 + 安全模式
Agentic RAG	395–430	主动研究员循环
通信协议	431–463	ACP / A2A / AG-UI / MCP
MCP 深潜	464–512	4 层拓扑 + 生命周期 + 设计模式
Context 工程	513–542	5 种上下文 + 4 大策略
ADLC 工程化	543–595	评估 + AgentOps + 护栏 + 参考架构

收官要点：

1. 概率性转变：确定性软件（f(5) 恒等于 10）→ 概率性软件（Agent 可能返回 A 或 B 都有效）——改变一切开发与 QA
2. ADLC = SDLC + MLOps + 认知实践：7 步迭代（目标→设计→选型→构建→训练→评估→AgentOps）——最难的是两个新阶段
3. 评估 = 新测试：不测输出测过程；黄金测试数据集 + LLM-as-a-Judge + 轨迹分析 = Agent 的 CI/CD；单元测试仍管工具
4. AgentOps = Agent 的 DevOps：管认知健康不只系统健康；基础是可追溯性（记录整个推理轨迹）；新指标：成本/工具失败/用户情绪/幻觉
5. 新威胁模型：注入/滥用/泄漏——传统安全必要但不再充分
6. LLM 护栏 = 心智防火墙：输入护栏（防提示注入/清 PII/滤内容）+ 输出护栏（验证工具调用/查幻觉/品牌安全）；HITL 与 Ejection/MCP 是落地模式
7. 治理靠可观测性：不可变可审计的推理日志——「没有可观测性就没有治理」；责任问题（谁为百万美元错误负责）是 C 级议题
8. 工具也有生命周期：manifest.json 是机器可读契约——一个善意文字修改 = P0 崩溃；严格版本化不可协商，永不改已发布 manifest
9. 参考架构四支柱：Factory（设计/构建/评估）→ Runtime（执行/扩展/安全）→ Gateway（集成/解耦/管理）→ Monitor（观察/追踪/治理）——可分析任何厂商产品或自建
10. 🎉 课程完结：595 页全部学完——从「什么是 Agent」到「企业级 Agentic AI 平台蓝图」

感谢陪伴——这门课 12 篇笔记连载到此完结 🎬