见成工作室JIANCHENG STUDIO
返回专栏列表
NOTE-01发布于 2026-11-12预计阅读 8 min

FDE 实战手记:我们如何把生产级 AI Agent 端到端延迟打下来 72%

从跨国制造业采购风控系统的真实落地出发,拆解前置部署工程师如何通过确定性状态机、流式路由与并行工具执行解决生产延迟瓶颈。

FDEAI AgentLatency

在演示环境(Demo)里,一个串联 5 次大模型调用的 ReAct Agent 花 18 秒吐出结果看起来“还能接受”;但把同一套架构搬进日处理 4000 份工业询价单的生产环境,P95 延迟飙到 26 秒、超时重试引发雪崩、单月 Token 账单失控,项目会在试运行第二周就被业务方直接叫停。

这篇文章记录我们在一次跨国供应链风控引擎交付中,作为前置部署工程师(Forward Deployed Engineer, FDE)驻场攻坚 3 周,将核心工作流端到端 P95 延迟从 21.4s 压缩至 5.9s(-72.4%) 的真实架构取舍。

为什么生产环境里的 Agent 总是“慢得不可用”

上线第一周我们在全链路埋入了 OpenTelemetry 追踪,火焰图暴露出三个非常反直觉的事实:

耗时环节优化前 P95占比根因诊断
串行 ReAct 规划循环9.8s45.8%确定性的查库/比价步骤被迫交给 LLM 反复决策
上下文无界膨胀6.4s29.9%每轮把整份 40 页 PDF 原始文本塞进 Prompt
外部工具慢查询阻塞5.2s24.3%ERP 接口无超时熔断与并行扇出

核心结论很直白:80% 的延迟并不是模型推理本身不够快,而是我们用“概率型推理”去干了本该由“确定性代码”干的脏活。

原则一:把确定性骨架从 LLM 循环中剥离

在重构中,我们彻底放弃了自由发挥的通用 ReAct 循环,改为 Deterministic State Graph + Bounded Semantic Nodes(确定性状态图 + 有界语义节点):

  • 文档版面解析、汇率换算、历史三年均价 SQL 检索全部下沉为纯 TypeScript / Python 确定性函数;
  • LLM 只在两个真正需要语义理解的节点介入:非标工程备注消歧 与 合规条款风险摘要。
interface RfqNodeResult {
  lineItems: NormalizedLineItem[];
  riskFlags: ComplianceFlag[];
  confidence: number;
}
 
export async function runDeterministicPipeline(doc: ParsedPdf): Promise<RfqNodeResult> {
  // 1. 确定性并行扇出:历史价查询与供应商白名单校验同时触发
  const [priceBenchmarks, vendorStatus] = await Promise.all([
    queryHistoricalPrices(doc.partNumbers),
    verifyVendorCompliance(doc.vendorCode),
  ]);
 
  // 2. 仅将需要语义判断的异常条目送入轻量模型,严格约束输出 Schema
  const ambiguousItems = doc.items.filter((item) => item.specConfidence < 0.92);
  const resolved = ambiguousItems.length > 0
    ? await disambiguateSpecsWithSchema(ambiguousItems, priceBenchmarks)
    : [];
 
  return mergeAndScore({ doc, priceBenchmarks, vendorStatus, resolved });
}

仅这一项改动,单次询价的平均 LLM 调用次数从 6.4 次骤降至 1.3 次,而且因为大幅减少了自由决策路径,回归测试集的准确率反而从 91.2% 提升到了 99.1%。

原则二:按语义分层路由模型,拒绝“一把大锤砸所有钉子”

很多团队习惯全链路无脑挂载最贵的旗舰推理模型。我们在评测集(420 条真实脱敏历史工单)上做了逐节点消融实验,最终落地了三层路由策略:

1. 提取与分类层(TTFT < 350ms)

使用高吞吐轻量模型配合结构化 JSON Schema 强制输出,专门处理多语种字段归一化。

2. 条款推理层(按置信度按需升级)

只有当规则引擎命中“赔偿上限异常”或“知识产权归属模糊”等高风险关键词时,才触发推理能力更强的模型做深度条款比对,触发率仅占全量请求的 14%。

3. 人工接管闸门(Confidence Gate)

任何综合置信度低于 0.88 的记录,绝不靠盲目增加 Retry 次数赌运气,而是直接携带原文页码坐标高亮进入采购专家的 30 秒复核队列。

原则三:可观测性与离线混沌压测前置

FDE 交付与传统外包最大的区别在于:我们不在客户生产环境里碰运气。

在切换流量前,我们使用自研开源工具 OpenFDE-Bench 对工作流注入了 28 种生产混沌故障(包括 ERP 网关 504、模型接口限流 429、残缺扫描 PDF),确保任何外部抖动都在 800ms 内完成优雅降级而非卡死工单。

最终生产指标对照

指标维度初始 ReAct 原型重构后生产系统变化幅度
端到端 P95 延迟21.4s5.9s-72.4%
单工单 Token 成本¥0.84¥0.30-64.3%
合规风险条款召回率91.2%99.1%+7.9%
人工复核工时占比100%22%-78.0%

如果你的团队正卡在“Demo 很惊艳、上线就超时”的 AI 落地泥潭里,不妨先把流程图摊在白板上,用红笔划掉所有不需要大模型就能确定的分支——答案往往就在减法里。

TRAINING & BOOTCAMP // WAITLIST

FDE 实战营与企业 AI 内训预约

面向研发团队与技术负责人:拆解生产级 AI Agent 架构、确定性评测体系与复杂软件前置交付方法论。登记后优先获取首期大纲。