CodexQA

公开课大模型评测：数据集、指标与实跑

大模型评测：数据集、指标与实跑

共 3 讲

第 1 讲 · 5 分钟

大模型评测数据集入门

本讲实验：先搞清楚评测数据集测什么，以及中文和英文基准如何组织。

在 B 站打开这一集蔡大锅B 站合集视频由 B 站播放。

这门课

用三条经过 B 站公开 view 接口核对的视频，串起大模型评测的基础学习线：先认识评测数据集，再理解人工与自动化评测流程，最后用 C-Eval、LM Evaluation Harness 和 vLLM 跑一次基准评测。

适合谁
需要设计大模型评测方案、准备评测数据或跑公开基准的测试、研发与 AI 工程人员。
学完能做什么
能区分评测数据集、评测指标和执行工具，并按课程路线准备数据、选择评测方式，再完成一次可复现的基准评测。

想让团队一起学？团队培训按范围安排。 预约评估