行业与实践 · 标签「推理」

案例研究/2026-10-18/18 分钟

Salesforce 怎样把复合智能体的推理尾时延砍掉一半

Salesforce 用按模型独立扩缩的推理层服务 Agentforce 和 ApexGuru。13B 模型吞吐约 3.9 倍，P95 降超过 50%。10 倍流量下嵌入扩到 10 倍、SQL 执行器只扩到 2–3 倍。协调预热把复合冷启动从约 180 秒降到约 65 秒。