过去两年，AIGC 的核心矛盾已经发生变化：问题不再是“有没有模型能生成文本、图片或视频”，而是如何把大量能力边界不同、协议不同、成本结构不同的模型组织成一条稳定、可度量、可恢复的生产流水线。单次对话可以依靠人工挑选模型，规模化生产却必须面对任务拆分、上下文传递、资产追踪、限流、重试、质量评估和成本核算。所谓“一人公司”并不是一个人承担所有工作，而是一个人定义目标、验收标准与风险边界，再由模型群落完成可并行、可审计的执行。

需要先说明本文的版本口径。DeepSeek-V3/R1、Claude 3.5、Sonnet 5、GPT-5.6 Sol/Tera、Qwen 3.7 Max、Gemini 3.5 Pro、Grok 4.3，以及后文的部分图像、视频型号，可能是厂商公开名称，也可能是聚合控制台中的路由别名。型号会变，区域可用性也会变，因此本文不把未经统一公开资料确认的窗口长度、价格或榜单分数写成固定事实，而是讨论更耐久的能力契约、测试方法与工程边界。读者可以把具体型号替换为当前账户真实可调用的模型，架构结论仍然成立。

一、范式转移：2025-2026 全球 AIGC 技术栈的重构与解构

早期生成式 AI 产品常被理解为“输入一句话，获得一段结果”。这种交互掩盖了生产系统真正需要的五个层次：感知输入、语义规划、内容生成、工具执行与结果验证。纯文本模型擅长语言压缩和逻辑组织，却看不到参考图的构图偏差，也无法直接判断一段镜头是否发生主体漂移；图像模型能提供高密度视觉资产，却不理解整条叙事链中的角色动机；视频模型可以补齐时间维度，但其输出往往需要脚本、首尾帧、运镜约束和声音节拍共同限定。全模态并不是把文件都塞进一个请求，而是让不同模态在同一个任务坐标系中交换约束。

这一变化可以概括为三个阶段。第一阶段是单模型增强，人类在聊天窗口中反复补充 Prompt；第二阶段是工具链串联，文本、图像、视频与语音各自生成，再由人手工搬运文件；第三阶段是 Agentic Workflow（智能体工作流），控制平面把目标拆成有向无环图，多个执行器按照依赖关系消费任务，评估器对中间产物打分，不合格结果只回退到最近的可恢复节点。第三阶段的关键价值不是“更自动”，而是把经验变成可执行规则：什么场景允许重试，什么场景必须换模型，什么质量阈值可以进入下一步，什么预算耗尽后应停止。

多模型并存并非暂时过渡，而是由训练目标决定的长期结构。推理模型追求复杂约束下的正确率，低延迟模型追求首 Token 时间，视觉模型在审美先验、文字渲染和结构控制上各有偏向，视频模型又在人物一致性、动作幅度、镜头长度和物理可信度之间取舍。即使未来出现更强的统一 Transformer，企业仍会保留不同尺寸、不同许可、不同部署位置的模型，以满足成本、隐私和时延要求。“一个最强模型处理全部任务”在实验演示中很方便，在生产环境中却常常意味着不可预测的成本和故障半径。

从系统视角看，全模态技术栈可以拆成四个平面：数据平面保存文本、图片、音频、视频和元数据；模型平面提供推理、生成、嵌入、审核等原子能力；控制平面负责任务编排、API 调度架构、预算和状态迁移；治理平面管理权限、审计、质量基线与内容安全。Multi-modal Fusion（多模态融合）发生在四个平面的交界处，它既可能是模型内部的联合注意力，也可能是工程层的时间轴对齐、资产引用和语义标签合并。后者经常被忽视，却决定了工作流是否可复现。

一个成熟的全模态统一入口不应只提供“模型下拉框”，而应向上暴露任务意图，向下屏蔽协议差异。例如，上层提交的是“生成 16:9 产品分镜，保留主体身份，镜头时长 6 秒”，路由器再根据画面控制要求选择图像模型，根据运动幅度选择视频模型。这样，模型升级只需修改能力目录和评估基线，无须让每个业务重新适配。500+ 模型协同的实质也不是在一次任务中调用五百个模型，而是控制平面能够治理五百多个模型别名、版本、区域和能力组合，并让每个节点只调用最合适的一小部分。

二、文本与推理基座：DeepSeek、Sonnet 与 GPT 系列架构演进对比

文本基座承担的工作已经从“写文案”扩展到需求澄清、任务分解、代码生成、工具选择、证据核对和失败归因。选择模型时，最容易犯的错误是用单一榜单替代真实负载。公开 Benchmark 能帮助理解能力上限，却无法覆盖企业内部术语、私有代码库、JSON 严格输出、长链工具调用和中文表达等细节。更可靠的方法是先定义任务集合，再把 DeepSeek-V3/R1、Claude 3.5 Sonnet、Sonnet 5、GPT-5.6 Sol/Tera、Qwen 3.7 Max、Gemini 3.5 Pro、Grok 4.3 等名称映射为可测试路由。

2.1 从架构标签转向能力契约

MoE（混合专家）通过稀疏激活降低单次推理所需计算量，但“采用 MoE”不能直接推出某项业务更便宜或更快，因为实际延迟还受服务并发、上下文长度、输出长度和推理档位影响。显式推理或长思考模式通常能改善复杂规划，却也可能增加首 Token 时间，并在简单任务上产生过度分析。长上下文同样不是越大越好：当检索结果、历史对话和工具日志无差别堆入 Prompt 后，模型会面临注意力稀释、指令冲突与证据污染。

因此，能力目录至少应记录以下字段：supports_tools、supports_vision、structured_output、context_class、latency_class、reasoning_class、data_region、price_class 和 safety_profile。其中 context_class=long 只表示通过了内部长文档测试，不绑定一个可能随服务更新的数字；structured_output=strict 必须意味着模型在指定 Schema 下通过了解析率门槛，而不只是“通常会返回 JSON”。

路由别名示例	主要能力假设	优先工作负载	必须单独验证的风险
DeepSeek-V3	通用生成、代码与较高吞吐	批量改写、分类、代码辅助	长指令服从、严格 JSON、区域与配额
DeepSeek-R1	深度推理档	数学推导、复杂调试、计划审查	首响应时延、输出冗长度、预算上限
Claude 3.5 Sonnet / Sonnet 5	长文理解与工具协作档	代码阅读、规范重写、文档综合	别名对应版本、工具参数稳定性
GPT-5.6 Sol/Tera	高质量与均衡档的路由示例	多工具 Agent、结构化生成、低延迟交互	以控制台实际模型 ID 和能力为准
Qwen 3.7 Max	中文与通用推理档	中文知识任务、信息抽取、代码解释	中英混合任务一致性、上下文成本
Gemini 3.5 Pro	多模态长上下文档	文档、图像与视频理解任务	文件限制、区域可用性、引用准确性
Grok 4.3	实时信息与通用推理档	时效性分析、开放式探索	来源可追溯性、事实更新和工具权限

表中是路由设计假设，不是厂商能力声明。上线前必须用同一套输入、相同温度、相近输出上限和一致重试规则复测，否则比较的其实是参数配置而不是模型。

2.2 一套可复现的 Benchmark

建议把内部测试集分为六桶：事实抽取、约束写作、代码修复、复杂推理、工具调用和拒答安全。每桶至少包含正常样本、边界样本与对抗样本，并保存期望字段、评分器版本及人工复核结论。对于开放式写作，不能只让另一个大模型给总分，应将“事实正确、约束满足、结构完整、语言质量”拆开；对于代码任务，则应以编译、单元测试和安全扫描为主，模型评分只能解释失败原因。

{
  "case_id": "tool-042",
  "task": "查询库存并生成补货建议",
  "constraints": ["不得虚构库存", "必须输出严格 JSON", "缺少仓库编号时先追问"],
  "metrics": {
    "schema_valid": 1,
    "tool_choice_correct": 1,
    "argument_exact": 1,
    "unsupported_claims": 0,
    "latency_ms": 0,
    "input_tokens": 0,
    "output_tokens": 0
  }
}

在一组包含代码补丁、中文长文约束、工具参数和证据问答的混合测试中，通常能观察到比“谁总分第一”更有价值的结果：推理档在多约束规划与失败归因上更稳，但延迟和输出长度更高；均衡档适合大多数交互任务；低成本档在分类、抽取和模板化改写中具有更好的吞吐；长上下文档若没有检索裁剪，准确率并不会随输入长度单调增加。这里的“结果”是工作负载级结论，不能外推为任何型号的永久排名。

推荐同时计算硬指标与业务指标。硬指标包括 Schema 解析率、工具调用成功率、Pass@1、引用命中率、P50/P95 首 Token 时间和每成功任务成本；业务指标包括编辑距离、人工返工分钟数、任务一次通过率和事故数量。一个模型即使单次价格较低，如果其返工率高、输出过长或经常触发全链重跑，总拥有成本仍可能更高。路由目标应是最小化“合格结果成本”，而非最小化“单次调用价格”。

2.3 Prompt 不应承担全部系统职责

高质量 Prompt 可以明确角色、输入边界、输出格式和验收规则，却不适合保存不断变化的权限、价格与限流策略。系统提示词应尽量稳定，动态业务数据通过检索或工具注入，输出由 JSON Schema 校验，敏感动作由策略引擎批准。面对长任务，可让推理模型生成计划，让便宜模型并行执行子任务，再让独立评估器检查结果。规划者、执行者和评估者不必使用同一个型号，这种角色解耦正是模型群落的工程价值。

[SYSTEM]
你是任务规划器，只输出符合 schema 的执行图，不直接生成最终内容。

[INPUT]
目标：{goal}
可用工具：{tool_catalog}
预算上限：{budget}
截止时间：{deadline}

[RULES]
1. 每个节点必须声明输入资产、输出类型、依赖节点和验收器。
2. 外部写操作必须标记 requires_approval=true。
3. 缺少关键参数时生成 clarify 节点，不得猜测。
4. 预计成本超过预算时返回 BUDGET_EXCEEDED。

三、视觉与图像生成：Midjourney、Seedream 与 Flux 的控图机制剖析

文生图模型的竞争已经从“能否生成漂亮图片”转向“能否稳定地产生可编辑、可延续、符合品牌约束的视觉资产”。Midjourney V6/V7 常被讨论的是审美先验和构图完成度；Flux 1.1 Pro 常被放在提示词服从与开放工作流中比较；Seedream 5.0、Pix V6、Nano Banana 等名称则可能对应不同平台的生成或编辑路由。对生产者而言，关键并非记住榜单，而是把视觉目标拆成内容、构图、身份、风格、光照、文字和负面约束七类变量。

3.1 Diffusion、Flow Matching 与可控生成

扩散模型从噪声出发，通过多步去噪恢复图像。训练时模型学习给定文本条件下的噪声或速度场，推理时采样器逐步逼近目标分布。Flow Matching 则学习从简单分布到数据分布的连续流，在某些实现中可以用更直接的轨迹完成生成。两者的差别会影响采样效率和细节表现，但实际产品质量还取决于数据、编码器、对齐训练、采样器和后处理，不能只凭算法标签判断胜负。

ControlNet 将姿态、深度、边缘或分割图作为额外结构条件，适合锁定空间布局；IP-Adapter 从参考图提取视觉特征，适合保持人物、商品或风格身份；局部蒙版和重绘负责修复手部、文字或背景；LoRA 则以较低参数量注入特定角色与风格。稳定的控图工作流往往不是一次 Prompt，而是“草图定构图、参考图定身份、文本定语义、蒙版做修复、质量评估器验收”的多阶段过程。

主体层：一台银色桌面机器人，圆形胸前屏幕，左右结构对称
动作层：在工作台前组装微型电路板，双手均清晰可见
环境层：真实电子实验室，背景器材有层次但不过度杂乱
构图层：中景，主体位于中心偏左，右侧保留字幕安全区
镜头层：50mm，平视，浅景深，固定机位
光照层：柔和主光从左前方进入，右后方冷色轮廓光
材质层：拉丝铝合金、轻微使用痕迹、非塑料质感
一致性层：沿用 asset://character/robot-v3 的身份特征
负面约束：多余手指、结构变形、漂浮零件、水印、可读品牌文字
输出约束：16:9，分镜编号 S03，保留后续图生视频的运动空间

结构化 Prompt 的价值在于可做变量替换和差异比较。若所有要求都写成一段文学描述，失败后很难判断是主体、构图还是镜头约束失效。生产系统应保存最终 Prompt、随机种子、模型别名、版本、参考资产哈希、控制参数和生成时间，把每张图片视为可追溯构建产物，而不是下载后失去上下文的文件。

3.2 一致性应被量化

图像一致性至少包含四层：身份一致性关注脸部、服装、产品结构和颜色；构图一致性关注主体位置与镜头景别；风格一致性关注色板、材质和笔触；语义一致性关注画面是否准确表达脚本。可以使用人脸或视觉嵌入余弦相似度评估身份，用目标检测框的偏移评估构图，用色彩直方图和风格嵌入评估视觉统一，再由人工复核高风险镜头。

维度	自动指标示例	生产门槛示例	失败后的最小回退
主体身份	参考图嵌入相似度	同角色镜头不得低于项目基线	提高参考权重或切换身份控制路由
构图	检测框位置、占画面比例	主体不得进入字幕安全区	固定草图、深度图或姿态图重绘
文本	OCR 字符准确率	关键标题逐字匹配	分离背景生成与排版渲染
风格	色板距离、风格嵌入	同场景不得出现突变	复用色板、LoRA 或风格参考资产
可用性	畸形检测、分辨率、噪点	无结构性缺陷，满足后续裁切	局部重绘而非整图重跑

不同模型的比较也应围绕任务进行。海报底图更看重构图和审美完成度，电商图更看重商品结构与文字可编辑性，角色分镜更看重身份连续性，概念设计则允许更高随机性。Midjourney V6/V7、Flux 1.1 Pro、Seedream 5.0、Pix V6 与 Nano Banana 可以进入同一评测框架，但必须使用相同参考资产和验收器。若某个路由只能通过网页交互，另一个走 API，还应把排队时间、失败重试和人工搬运成本计入比较。

3.3 把文字排版留给确定性工具

图像模型的文字能力持续改善，但生产系统不应把价格、日期、型号等关键文本完全交给随机生成。更稳健的做法是让模型生成无字背景、留出安全区，再由 Canvas、SVG、Pillow 或设计模板渲染文字。这样既能保持视觉质量，也能保证拼写、字体许可、多语言替换和无障碍对比度。生成模型负责高熵创意，确定性程序负责低熵规则，这是全模态流水线中非常重要的分工原则。

四、视频与时序生成：Kling V3、MiniMax M3 与 Wan 系列的时空一致性破局

视频生成比图像生成多了时间轴，因此任何微小身份误差都可能累积成闪烁、变形和动作漂移。Sora 之后，扩散 Transformer（DiT）与时空潜变量成为行业讨论重点：视频先被压缩到潜空间，再切分为时空 Token，模型同时学习画面内容与帧间变化。3D 时空注意力可以在空间和时间维度建立依赖，但高分辨率、长镜头会快速放大计算量，所以产品常采用分块注意力、级联生成、关键帧约束或后续超分。

Kling V3（可灵）、MiniMax M3、Wan 2.7（万相）、Vidu Q3 Turbo、Seedance 2.0 等路由的真实能力应以当前接口为准。比较时至少固定输入图片、提示词、时长、比例、分辨率和重试次数，否则一个模型使用高质量首帧，另一个只用文本，结论没有意义。视频质量也不应只看“第一眼震撼”，而要检查动作是否完成、主体是否守恒、镜头是否遵循指令，以及输出能否进入剪辑流程。

4.1 时空一致性的四类故障

第一类是身份漂移。人物在转身或遮挡后出现脸型、服装或配件变化，本质上是模型对长期身份约束不足。解决方法包括提供高质量首帧与角色参考、缩短单镜头时长、减少大幅遮挡，并在镜头切换处重新锚定身份。

第二类是拓扑错误。手指数量变化、物体穿透、机械结构断裂，都属于局部生成缺少稳定三维约束。可以用较简单的动作、明确接触关系、深度或姿态控制降低难度；对关键商业镜头，则应将高风险动作交给 3D、动作捕捉或传统合成，而不是要求生成模型一次完成全部物理过程。

第三类是运动不连续。相邻帧方向变化、背景纹理闪烁、摄像机速度突变会造成“卡帧”和抖动。工程上可以计算光流残差、特征点轨迹加速度和感知相似度的帧间方差。注意，插帧只能缓解播放不流畅，无法修复物体逻辑错误；若杯子已经穿过桌面，再平滑的中间帧也不会让运动合理。

第四类是叙事失配。模型生成了自然运动，却没有完成“拿起元件、检查、放入托盘”的三段动作。原因通常是单镜头承载的事件过多。更好的做法是把动作拆成原子镜头，每个镜头只定义一个主要状态变化，再通过剪辑连接。视频 Prompt 应明确初始状态、目标状态、主体动作、环境反应、摄影机运动和禁止变化。

镜头 ID：S07
首帧资产：asset://storyboard/S07-v4
持续时间：5 秒
初始状态：机器人右手悬停在蓝色芯片上方，芯片位于工作台中央
主要动作：右手夹起芯片并平稳移动到左侧托盘；动作只发生一次
环境反应：台灯保持静止，背景屏幕亮度不变
摄影机：固定机位，禁止推拉摇移，禁止焦距变化
身份锁定：胸前圆形屏幕、银色外壳和双臂结构不得变化
物理约束：手指与芯片保持接触，芯片不得穿透桌面或凭空消失
负面约束：额外手臂、快速抖动、背景闪烁、字幕、水印、镜头切换

4.2 不用“感觉”评估视频

可以建立一个由机器预筛和人工复核组成的质量门。机器层检测黑帧、冻结帧、分辨率、帧率、光流异常、主体检测置信度和音画时长；多模态理解模型判断动作是否完成、镜头是否遵循 Prompt；人工只复核高价值镜头和自动评分接近阈值的样本。对“抖动率”这类指标必须给出定义，例如将主体关键点在运动补偿后的异常加速度帧数除以总帧数，而不能直接引用不同厂商口径不一的百分比。

指标	可计算定义	能发现的问题	不能替代的检查
冻结帧率	连续近重复帧数 / 总帧数	卡帧、无效延长	动作是否符合脚本
运动补偿残差	对齐后相邻帧感知差异	闪烁、背景跳变	大幅合理运动
身份保持分	关键帧主体嵌入相似度	脸部、服装、产品漂移	细小结构错误
轨迹平滑度	特征点速度和加速度异常	镜头抖动、运动突变	物理因果正确性
指令完成率	动作状态机完成节点数 / 总节点数	漏动作、顺序错误	审美与情绪表达

在 Kling V3、MiniMax M3、Wan 2.7、Vidu Q3 Turbo、Seedance 2.0 之间路由时，可以先按镜头类型建立经验先验，再用在线数据更新：人物近景、产品旋转、风景运镜、动漫动作分别统计一次通过率和每合格秒成本。当某个模型升级后，只把少量流量切给新版本，比较同一批隐藏测试镜头；若身份保持或失败率退化，立即回滚模型映射。这样，所谓“最佳视频模型”会被改写成一个可操作问题：在当前镜头类型、质量门槛、截止时间与预算下，哪个路由产生合格片段的期望成本最低。

4.3 4K 通常是流水线结果，而非单步结果

高质量 4K 短片往往采用分层策略：先以模型擅长的分辨率生成运动主体，再做去闪烁、插帧、超分、色彩管理、字幕与编码。直接要求生成模型一次输出长时长 4K，不仅成本高，还会放大失败重跑损失。应保存原始片段、处理参数和每次转码的哈希，避免多次有损压缩。音频也要先锁定采样率和时间轴，最终由确定性渲染器完成封装，保证不同播放器中的同步性。

五、痛点反思：多模态碎片化工具链带来的“效率陷阱”

多模态工具越来越多，并不等于生产效率线性提升。一个典型团队可能分别订阅文本、图片、视频、配音、音乐和超分服务，每个平台都有独立账户、额度、API Key、限流规则和内容政策。显性成本是月费与调用费，隐性成本则包括学习不同参数、手工复制 Prompt、下载上传资产、失败后找不到原始配置，以及成员离职后无人知道某个 Key 属于谁。对于高频视频生产，人工搬运往往比模型推理占用更多交付时间。

碎片化最严重的问题不是界面多，而是上下文断裂。文本模型输出的角色设定没有稳定 ID，图像生成后只剩一个文件名，视频模型无法知道该图对应哪个脚本版本，配音又拿到了过期台词。任何一步返工，都可能引发整条链路重做。若没有资产谱系，团队甚至无法回答“成片第 17 秒的画面由哪个 Prompt、哪个参考图、哪个模型版本生成”。这种系统在演示时看似顺畅，一旦需要批量生产、协作审核或合规追溯，就会暴露出结构性风险。

API Key 维护同样不能靠散落在脚本中的环境变量解决。不同服务有不同并发上限、超时语义和错误码，同一个 429 可能表示瞬时限流、日配额耗尽或账户策略限制。盲目指数退避会让已经不可能完成的任务继续占用队列。网关需要把外部错误归一为可行动类别，例如 RETRYABLE、QUOTA_EXHAUSTED、POLICY_BLOCKED、INVALID_INPUT 和 PROVIDER_DOWN，再决定重试、换路由、降级或人工处理。

还有一个常被忽略的成本陷阱：按“调用”记账，而不是按“合格资产”记账。某视频路由单次便宜，但平均需要生成六次才能获得可用片段；另一路由单次更贵，却两次内通过。只看价目表会选错。正确的成本单位应是每个通过质量门的镜头、每分钟合格音频、每篇无需重大返工的文档，并把人工审核分钟数和链路重跑成本纳入。统一控制平面要解决的正是这些跨模型、跨步骤的总成本问题。

六、架构破局：基于 Agentic Workflow 的全模态统一调度范式

全模态统一调度不是简单反向代理。它至少包含接入网关、能力目录、策略路由器、工作流引擎、资产仓库、评估服务和可观测系统。接入网关完成身份认证、租户隔离和协议归一；能力目录声明每个路由支持的输入模态、输出类型、异步方式和限制；策略路由器依据质量、成本、时延、区域和健康度选模型；工作流引擎维护 DAG 与状态；资产仓库保存大文件和谱系；评估服务决定结果是否进入下游。

6.1 统一任务协议

任务协议不应直接等同于任何厂商请求体。它描述业务意图、输入资产、输出契约和运行边界，再由适配器翻译为下游参数。大文件通过对象存储引用传递，避免图片和视频以 Base64 在队列中反复复制。每个资产都携带内容哈希、媒体类型、来源节点、模型路由、Prompt 版本和父资产列表，以形成可查询的有向谱系。

{
  "task_id": "film-2026-071",
  "node_id": "shot-S07-video-v1",
  "intent": "image_to_video",
  "inputs": [{"uri": "asset://storyboard/S07-v4", "sha256": "..."}],
  "requirements": {
    "aspect_ratio": "16:9",
    "duration_seconds": 5,
    "identity_lock": true,
    "quality_profile": "production"
  },
  "constraints": {
    "deadline_ms": 180000,
    "max_cost_units": 40,
    "data_region": "configured-region",
    "allow_fallback": true
  },
  "acceptance": ["no_black_frame", "identity_score>=project_baseline", "action_complete"]
}

在多模态智能体协同开发中，高频瓶颈通常来自接口鉴权、字段差异、异步轮询和并发限制。为了对 DeepSeek 语义规划、Midjourney 画面生成与 Kling 时序视频等组合进行协议验证，可以把统一网关的开发沙盒配置为 base_url=https://178.nz/bo，并将它视为可替换的工作流接入节点。这里需要保留供应商适配层和熔断边界：统一入口降低接入复杂度，但不能消除下游服务的配额、数据政策、可用性和模型差异。

6.2 路由不是 if-else，而是约束优化

候选模型首先经过硬过滤：是否支持输入模态、是否满足区域和安全策略、剩余上下文是否足够、预估成本是否超预算。通过过滤后再计算软评分：质量预测、健康度、延迟、成本和历史一次通过率。可以用下式表示一个简化评分：

[
Score(m,t)=w_qQ(m,t)+w_hH(m)-w_lL(m,t)-w_cC(m,t)-w_rR(m,t)
]

其中，(Q) 是该模型在当前任务类型上的质量预测，(H) 是实时健康度，(L) 是预计时延，(C) 是成本，(R) 是策略风险。权重不能全局固定：交互式代码补全更重视延迟，品牌主视觉更重视质量，批量摘要更重视成本。路由日志必须保存候选集合、过滤原因、各项分数和最终决策，否则线上结果变差时无法复盘。

下面的 Python 骨架展示统一协议、幂等键、预算过滤、分类重试和降级。适配器中的真实请求可替换为各服务 SDK；控制逻辑不依赖具体型号。

import asyncio
import hashlib
import json
from dataclasses import dataclass


class RetryableError(Exception):
    pass


class PermanentError(Exception):
    pass


@dataclass(frozen=True)
class Route:
    name: str
    intents: frozenset[str]
    quality: float
    health: float
    latency: float
    cost: float


ROUTES = [
    Route("reasoning-primary", frozenset({"plan", "review"}), 0.94, 0.99, 0.55, 0.75),
    Route("reasoning-balanced", frozenset({"plan", "review"}), 0.88, 0.995, 0.25, 0.35),
    Route("video-primary", frozenset({"image_to_video"}), 0.91, 0.97, 0.80, 0.85),
    Route("video-fallback", frozenset({"image_to_video"}), 0.84, 0.99, 0.60, 0.55),
]


def choose_route(intent: str, budget: float, excluded: set[str]) -> Route:
    candidates = [
        route for route in ROUTES
        if intent in route.intents and route.cost <= budget and route.name not in excluded
    ]
    if not candidates:
        raise PermanentError("NO_ELIGIBLE_ROUTE")
    return max(
        candidates,
        key=lambda route: 0.5 * route.quality + 0.2 * route.health
        - 0.15 * route.latency - 0.15 * route.cost,
    )


async def invoke_adapter(route: Route, task: dict) -> dict:
    # 真实项目在这里调用对应 SDK，并把外部错误归一化。
    await asyncio.sleep(0.01)
    return {"status": "SUCCEEDED", "route": route.name, "asset_uri": "asset://result/demo"}


async def dispatch(task: dict) -> dict:
    canonical = json.dumps(task, ensure_ascii=False, sort_keys=True).encode("utf-8")
    idempotency_key = hashlib.sha256(canonical).hexdigest()
    excluded: set[str] = set()
    for attempt in range(3):
        route = choose_route(task["intent"], task["budget"], excluded)
        try:
            result = await invoke_adapter(route, task)
            return {**result, "idempotency_key": idempotency_key}
        except RetryableError:
            await asyncio.sleep(2 ** attempt)
        except PermanentError:
            excluded.add(route.name)
    raise RuntimeError("WORKFLOW_NODE_FAILED")

Node.js 客户端只需要提交统一任务并轮询统一状态，不应感知下游模型的异步差异：

async function waitForTask(client, task) {
  const created = await client.createTask(task, {
    idempotencyKey: task.idempotency_key,
  });

  for (let i = 0; i < 60; i += 1) {
    const current = await client.getTask(created.task_id);
    if (current.status === "SUCCEEDED") return current.outputs;
    if (["FAILED", "CANCELLED", "BUDGET_EXCEEDED"].includes(current.status)) {
      throw new Error(`${current.status}: ${current.error_code ?? "unknown"}`);
    }
    await new Promise((resolve) => setTimeout(resolve, 2000));
  }
  await client.cancelTask(created.task_id);
  throw new Error("DEADLINE_EXCEEDED");
}

6.3 状态、幂等与失败恢复

文本请求常是同步的，视频任务却可能排队数分钟。统一状态机至少需要 PENDING、RUNNING、SUCCEEDED、FAILED、CANCELLED 和 BUDGET_EXCEEDED，并将“提交成功”和“生成成功”严格区分。调用方超时后重试必须携带幂等键，否则会创建两个昂贵的视频任务。幂等记录应绑定租户、任务规范哈希和有效期；同一个键对应不同请求体时要拒绝，而不是静默复用旧结果。

失败恢复遵循最小回退原则。若字幕渲染失败，不应重新生成视频；若第七个镜头身份漂移，只回退该镜头的图像或视频节点；若规划器错误地遗漏必要镜头，才重新生成计划。每个节点都要声明可重试错误、最大次数、备用路由和补偿动作。对于外部写入、发布、付款等不可轻易撤销的工具调用，还必须在执行前设置人工审批和唯一事务标识，不能让 Agent 自主重试。

可观测性需贯穿任务、节点、调用和资产四层。日志记录 trace_id、task_id、node_id、route、attempt、error_class；指标统计成功率、排队时长、P95 延迟、每合格资产成本和降级比例；追踪系统将一次业务任务中的所有模型调用串联起来。Prompt 和原始媒体可能含敏感信息，日志应保存哈希、模板版本和必要摘要，避免无边界记录完整内容。

七、闭环实战：从 Prompt 到 4K 短片的全自动 AIGC 流水线工程

下面以“90 秒桌面机器人科普短片”为例，构建从主题到 4K 成片的闭环。目标不是展示某个模型的单点效果，而是说明如何把创意任务变成可恢复的工程。项目验收包括：12 至 16 个镜头、角色身份稳定、旁白事实可追溯、全片无黑帧与明显闪烁、字幕逐字匹配、音画误差不超过项目阈值、预算与截止时间可控。

7.1 第一步：脚本与分镜规划

先让推理模型输出结构化脚本，而不是直接写散文。输入包括受众、核心结论、证据材料、时长、语速和禁用表述。输出包含镜头 ID、旁白、视觉目标、时长、转场和证据引用。规划器可以路由到 DeepSeek-R1、Sonnet 5、GPT-5.6 Sol 或其他深度推理档，执行改写则可使用均衡档；最终事实由证据检查器核对，不能因为语言流畅就自动通过。

任务：为“机器人如何识别桌面元件”生成 90 秒科普脚本与分镜表。
受众：有基础编程知识、不了解机器视觉的开发者。
核心结论：识别流程由成像、检测、定位、抓取规划和反馈校正组成。
证据：只允许使用 evidence 列表中的材料；无法支持的数字不得出现。
节奏：前 8 秒提出问题；中段演示五步流程；最后 10 秒总结工程边界。
输出：严格 JSON，字段为 shot_id、duration、narration、visual_goal、evidence_ids、transition。
约束：总时长 88-92 秒；单镜头 3-8 秒；一个镜头只表达一个状态变化。

脚本生成后先运行三个确定性检查：所有镜头时长之和是否在范围内，旁白字数是否匹配目标语速，每个事实性句子是否存在证据 ID。再让独立评估器检查叙事连贯、术语难度和重复信息。只有 Schema、时长和证据同时通过，分镜才进入视觉阶段。

7.2 第二步：角色圣经与分镜控图

角色一致性不能只依赖一句“保持同一机器人”。项目开始时应建立角色圣经：正面、侧面、背面参考图，材质色板，胸前屏幕尺寸，机械臂关节数量，允许动作和禁止变化。先生成低成本构图草图，由规则检查主体位置和字幕安全区；草图通过后，再通过 Midjourney V7、Flux 1.1 Pro、Seedream 5.0 或当前可用图像路由生成高质量分镜。

每个镜头至少保留两个候选，而不是默认采用第一张。自动评估器计算身份相似度、构图合规与畸形风险，低于阈值时优先调整单一变量：身份漂移就增加参考约束，构图错误就固定姿态或深度，文字错误就移除模型内文字并交给后期。一次同时修改五个 Prompt 变量，虽然可能偶然成功，却会破坏可解释性。

7.3 第三步：静态分镜转时序片段

图生视频之前，分镜 Prompt 要转换为时间状态机。每个片段描述起点、终点和唯一主要动作，并明确固定元素。路由器根据镜头标签选择 Kling V3、Wan 2.7、Vidu Q3 Turbo、Seedance 2.0 或其他视频能力，而不是让一个型号承担所有镜头。人物对话、产品展示、快速动作和环境空镜可分别建立历史成功率。

视频任务提交后进入异步队列，完成即触发机器质量门。黑帧、冻结帧和尺寸错误直接拒绝；身份分接近阈值时进入人工复核；动作未完成则返回视频节点重生成；首帧本身有误则回退图像节点。每个镜头设置最大尝试次数，超过上限后改用更简单的运动、备用模型或传统动画模板，避免 Agent 在低成功率任务上无限消耗预算。

7.4 第四步：语音、音乐与时间轴

旁白生成前先做发音词典，固定 AIGC、DiT、ControlNet 等术语的读法。语音服务返回音频和字级时间戳；若不支持字级时间戳，可用强制对齐模型生成。背景音乐不能简单铺满全片，应根据镜头情绪划分段落，并在旁白出现时自动压低响度。音效通过事件标签绑定到动作节点，例如“夹具闭合”对应时间轴上的具体帧，而不是靠剪辑者目测拖动。

统一时间轴可以表示为：

timeline:
  fps: 30
  resolution: 3840x2160
  audio_rate: 48000
  tracks:
    - type: video
      clips: [S01-v3, S02-v2, S03-v5]
    - type: narration
      asset: voice-main-v4
      loudness_target: -16_LUFS
    - type: subtitle
      asset: subtitle-zh-v6
      safe_margin_percent: 8
    - type: music
      asset: music-bed-v2
      duck_under_narration_db: 8

在最终合成前，渲染器检查所有资产是否存在、帧率是否可转换、音频采样率是否一致、字幕是否超出安全区。随后按“去闪烁或稳定、插帧、超分、调色、字幕、混音、编码”的顺序处理。顺序很重要：若先烧录字幕再超分，文字边缘可能被重建算法污染；若多次转码，细节会逐步损失。中间结果尽量采用高质量母版，最终再输出平台所需编码。

7.5 第五步：验收、成本和可复现交付

成片验收分为技术、内容和合规三层。技术层检查分辨率、帧率、黑帧、响度、音画同步和编码；内容层检查事实、叙事、角色一致性、镜头动作和字幕；合规层检查素材许可、人物授权、品牌元素和平台政策。任何一层失败都要指向具体节点，不能只给“整体不够好”的模糊结论。

成本报表按任务树汇总：规划 Token、图片候选数、视频生成秒数、重试次数、语音时长、后期计算和人工审核分钟数。最重要的指标是 cost_per_accepted_second，即每个验收通过的成片秒数成本。若某类镜头连续失败，应从路由策略、Prompt 模板或镜头设计中解决，而不是继续增加重试。每次项目完成后，把失败样本加入隐藏回归集；模型或模板升级时先跑回归，再逐步放量。

最终交付物不只是一段 MP4，还应包括脚本 JSON、角色圣经、资产清单、Prompt 版本、模型路由记录、质量报告和时间轴配置。这样，当某句旁白要修改时，系统可以定位受影响的字幕、音频和镜头，只重建必要节点；当模型版本下线时，也能知道哪些项目依赖它。全自动的真正含义不是没有人，而是机器负责可重复执行，人负责目标、审美、事实与风险决策。

八、总结与展望：具身智能与下一代 AIGC 的演进路线

全模态 AIGC 的生产力跃迁，不来自把更多模型堆进一个页面，而来自统一任务协议、能力路由、资产谱系、质量门、预算控制和失败恢复。DeepSeek-V3/R1、Sonnet 5、GPT-5.6、Qwen 3.7 Max 等文本路由负责理解与规划，Midjourney V6/V7、Flux 1.1 Pro、Seedream 5.0 等视觉路由负责空间表达，Kling V3、MiniMax M3、Wan 2.7 等视频路由负责时间表达；每个名称都只是能力目录中的可替换实现，业务不应被某个版本锁死。

下一阶段，多模态统一 Transformer 会进一步缩短文本、视觉、声音和动作之间的转换链路，但工程控制平面不会因此消失。模型越能自主调用工具，权限隔离、因果追踪、仿真测试和人工审批越重要。具身智能还会把错误从“生成内容不理想”升级为“物理动作可能造成损失”，因此世界模型、实时反馈、数字孪生和安全约束将成为 Agentic Workflow 的核心组成。

对个体创作者和小团队而言，最值得积累的并不是某个界面的使用技巧，而是可迁移的生产资产：结构化 Prompt、角色与品牌规范、可执行验收器、失败样本、路由数据和自动化工作流。当模型更新时，这些资产可以继续复用，并通过回归测试判断升级是否真的改善了业务。所谓“一人公司”的技术底座，最终是一套边界清晰的人机协作系统：人定义价值与责任，模型提供可替换的能力，工作流把两者连接成稳定、可审计、可持续演进的生产过程。