在演示环境(Demo)里,一个串联 5 次大模型调用的 ReAct Agent 花 18 秒吐出结果看起来“还能接受”;但把同一套架构搬进日处理 4000 份工业询价单的生产环境,P95 延迟飙到 26 秒、超时重试引发雪崩、单月 Token 账单失控,项目会在试运行第二周就被业务方直接叫停。
这篇文章记录我们在一次跨国供应链风控引擎交付中,作为前置部署工程师(Forward Deployed Engineer, FDE)驻场攻坚 3 周,将核心工作流端到端 P95 延迟从 21.4s 压缩至 5.9s(-72.4%) 的真实架构取舍。
为什么生产环境里的 Agent 总是“慢得不可用”
上线第一周我们在全链路埋入了 OpenTelemetry 追踪,火焰图暴露出三个非常反直觉的事实:
| 耗时环节 | 优化前 P95 | 占比 | 根因诊断 |
|---|---|---|---|
| 串行 ReAct 规划循环 | 9.8s | 45.8% | 确定性的查库/比价步骤被迫交给 LLM 反复决策 |
| 上下文无界膨胀 | 6.4s | 29.9% | 每轮把整份 40 页 PDF 原始文本塞进 Prompt |
| 外部工具慢查询阻塞 | 5.2s | 24.3% | ERP 接口无超时熔断与并行扇出 |
核心结论很直白:80% 的延迟并不是模型推理本身不够快,而是我们用“概率型推理”去干了本该由“确定性代码”干的脏活。
原则一:把确定性骨架从 LLM 循环中剥离
在重构中,我们彻底放弃了自由发挥的通用 ReAct 循环,改为 Deterministic State Graph + Bounded Semantic Nodes(确定性状态图 + 有界语义节点):
- 文档版面解析、汇率换算、历史三年均价 SQL 检索全部下沉为纯 TypeScript / Python 确定性函数;
- LLM 只在两个真正需要语义理解的节点介入:非标工程备注消歧 与 合规条款风险摘要。
interface RfqNodeResult {
lineItems: NormalizedLineItem[];
riskFlags: ComplianceFlag[];
confidence: number;
}
export async function runDeterministicPipeline(doc: ParsedPdf): Promise<RfqNodeResult> {
// 1. 确定性并行扇出:历史价查询与供应商白名单校验同时触发
const [priceBenchmarks, vendorStatus] = await Promise.all([
queryHistoricalPrices(doc.partNumbers),
verifyVendorCompliance(doc.vendorCode),
]);
// 2. 仅将需要语义判断的异常条目送入轻量模型,严格约束输出 Schema
const ambiguousItems = doc.items.filter((item) => item.specConfidence < 0.92);
const resolved = ambiguousItems.length > 0
? await disambiguateSpecsWithSchema(ambiguousItems, priceBenchmarks)
: [];
return mergeAndScore({ doc, priceBenchmarks, vendorStatus, resolved });
}仅这一项改动,单次询价的平均 LLM 调用次数从 6.4 次骤降至 1.3 次,而且因为大幅减少了自由决策路径,回归测试集的准确率反而从 91.2% 提升到了 99.1%。
原则二:按语义分层路由模型,拒绝“一把大锤砸所有钉子”
很多团队习惯全链路无脑挂载最贵的旗舰推理模型。我们在评测集(420 条真实脱敏历史工单)上做了逐节点消融实验,最终落地了三层路由策略:
1. 提取与分类层(TTFT < 350ms)
使用高吞吐轻量模型配合结构化 JSON Schema 强制输出,专门处理多语种字段归一化。
2. 条款推理层(按置信度按需升级)
只有当规则引擎命中“赔偿上限异常”或“知识产权归属模糊”等高风险关键词时,才触发推理能力更强的模型做深度条款比对,触发率仅占全量请求的 14%。
3. 人工接管闸门(Confidence Gate)
任何综合置信度低于 0.88 的记录,绝不靠盲目增加 Retry 次数赌运气,而是直接携带原文页码坐标高亮进入采购专家的 30 秒复核队列。
原则三:可观测性与离线混沌压测前置
FDE 交付与传统外包最大的区别在于:我们不在客户生产环境里碰运气。
在切换流量前,我们使用自研开源工具 OpenFDE-Bench 对工作流注入了 28 种生产混沌故障(包括 ERP 网关 504、模型接口限流 429、残缺扫描 PDF),确保任何外部抖动都在 800ms 内完成优雅降级而非卡死工单。
最终生产指标对照
| 指标维度 | 初始 ReAct 原型 | 重构后生产系统 | 变化幅度 |
|---|---|---|---|
| 端到端 P95 延迟 | 21.4s | 5.9s | -72.4% |
| 单工单 Token 成本 | ¥0.84 | ¥0.30 | -64.3% |
| 合规风险条款召回率 | 91.2% | 99.1% | +7.9% |
| 人工复核工时占比 | 100% | 22% | -78.0% |
如果你的团队正卡在“Demo 很惊艳、上线就超时”的 AI 落地泥潭里,不妨先把流程图摊在白板上,用红笔划掉所有不需要大模型就能确定的分支——答案往往就在减法里。
FDE 实战营与企业 AI 内训预约
面向研发团队与技术负责人:拆解生产级 AI Agent 架构、确定性评测体系与复杂软件前置交付方法论。登记后优先获取首期大纲。