状态码 200 仍在胡说：三次智能体排障

状态码 200 仍在胡说：三次智能体排障

阿里云原生社区在 2026-07-28 介绍了零代码插桩。OBI 把观测下沉到内核，不改应用代码，也能看见一次大模型调用。文章用三次真实部署里的排障，说明只看应用性能监控会停在哪。OBI 最常被用来拆三类问题：召回质量、token 费用，以及自研应用里的盲区。

手工按 GenAI 语义约定埋点很难。OpenTelemetry 的做法是把观测推到内核。文章写处理流水线每段都是可水平扩展的 actor，典型单机负载下 CPU 稳定低于 1%。Go 应用里，6 层协程创建深度覆盖 99% 的情况，再深通常是框架内部。性能开销的目标是 CPU 低于 1%。文章说这是典型开销，没有给出测量样本数。

答非所问：库写错了，不是模型在编

文档问答智能体上线一周后，用户说它经常在编。开发者看应用性能监控，只看到一次 /chat/completions 花了 2.8 秒，状态码 200。模型、向量库和重排都是黑盒。

OBI 的 RAG 分析把整条 trace 摊开。embedding span 显示查询用的是 text-embedding-3-small。后面的 Pinecone span 是 Top-K=5、namespace=docs-v2、hits=1、最高分 0.31。重排 span 显示顺序没变。三截接起来，问题不是模型幻觉：向量库的 namespace 写错了，新版文档没指到这个索引。排查不到一分钟。以前靠补日志和二分，至少要半天。

这 0.31 是这一条 trace 的最高检索分，不是一组评测集的平均分。

账单涨了 320%：谁在反复塞整份 PDF

月初账单显示，输入 token 同比涨了 320%。几十个微服务、好几个智能体，没人说得清是哪段代码在烧钱。传统应用性能监控不暴露 token 字段；就算 SDK 埋了点，数据也散在各应用日志里。

OBI 按 gen_ai.request.model、service.name 和 gen_ai.usage.input_tokens 汇总所有大模型调用。30 秒锁到异常：一个内部知识库智能体平均每次调用 80,000 个输入 token，是集群里其他应用的 40 倍。钻进这次调用的 prompt，发现有人为了「提高准确率」，把整份 PDF 塞进 system message，每一轮对话都再发一遍。内核层就能看见，业务侧不用改代码、也不用加埋点。

320% 是账单同比，不是评测集上的质量分。80,000 和 40 倍是这次汇总里的这一条，文章没有给出其他应用的原始 token 表。

自己拼 HTTP，SDK 探针全部失效

另一个团队用 Python requests 直接调 Qwen 的 /chat/completions，绕开官方 SDK，以便自己控制重试和超时。基于 SDK 猴子补丁的 OpenTelemetry 库全部失效。团队以为这个自研智能体没法观测。

部署 OBI 之后，不改一行代码，也不装 Python 包，调用链出现在 AI Agent Observability 看板上。提供方被识别成 Qwen，模型、输入输出 token 和 tool_calls 都有，和走官方 SDK 的应用一样。原因是 OBI 看的是 TCP 上的 HTTP 包，不关心用不用 SDK。覆盖范围不是「集成了我们 SDK 的应用」，而是「所有用 HTTP 调大模型的应用」。

同一块看板里，一边是这个用标准库 http.client 的 raw-http-agent，一边是用官方 OpenAI SDK 的 openai-mcp-demo。模型分析视图下的调用量、平均延迟、总 token、模型维度（qwen-plus、text-embedding-v3）以及延迟和调用量分布，结构相同。文章没有给出两边的延迟或 token 数字。

还没做的指标

当前版本已经能追 GenAI 调用链。接下来要做的还不是现成结果。流式场景里，从请求到第一个 SSE 事件的 TTFT 会在内核记录，用来区分慢在网络、排队还是推理。指标侧还要按提供方和模型汇总 token 消耗、成功和错误率、延迟分位数，以及 Top-N。这些都写在计划里，不是这篇的测量结果。

三次都是部署里的个案，不是评测集。低于 1% 的 CPU 和 99% 的协程深度没有样本量。0.31、2.8 秒、80,000 token 和 320% 各管各的场景，不能合成一个总分。页面没有禁止复制的声明。

阿里云，Alibaba Cloud Native Community，Zero-Code Instrumentation: See Through Every AI Agent Invocation，2026-07-28，https://www.alibabacloud.com/blog/zero-code-instrumentation-see-through-every-ai-agent-invocation_603403