Industry & Practice · Tagged “SLM”

Research & Benchmarks/2026-10-15/7 min

平均时延卡在 20 毫秒：美团用完整请求测有界生成

美团技术团队 2026-10-15 的文章把搜推 SLM 分成只做一次 prefill 和固定步数 beam search。单卡容量取平均时延低于 20 毫秒且 P99 低于 80 毫秒的最高 QPS。Prefill-Only 有效 MFU 约 67%，大约是 SGLang 的 10 倍。