工作流程
4 个步骤，每一步做什么、依据什么，都写在这里。
Not translated yet — showing the Chinese originals.
大模型应用评测
CodexQA 用数据集、LLM-as-judge 与规则断言评测大模型应用的准确性、幻觉、检索质量、工具调用轨迹与安全性，把评测接入 CI，让 Prompt 或模型变更在上线前得到量化反馈。
计划中什么是 LLM 评测
大模型应用评测是对基于 LLM 的功能——问答、RAG、Agent、多模态——进行系统化测试的方法。它不只检查单次输出对不对，而是用固定数据集与多种指标衡量准确性、忠实度、幻觉率、检索命中、工具调用正确性和安全边界，并在每次 Prompt、模型或知识库变更后重复运行。
在产品中接入 LLM 或 RAG 的研发团队需要为 AI 功能设定发布标准的质量团队构建 Agent 产品、关心工具调用可靠性的团队
相关术语：大模型评测
核心能力
- 01
数据集与基准管理
维护带标注的评测集，按版本记录 Prompt、模型和知识库配置，让每次结果可对比。
- 02
多指标评测
结合 LLM-as-judge、规则断言和检索指标（上下文精确率、召回率、忠实度）衡量输出质量。
- 03
Agent 轨迹评测
按 Agent 的工具调用路径、参数和中间状态打分，而不只看最终答案。
- 04
安全与红队
用对抗性提示探测越狱、提示注入、敏感信息泄露，并把失败作为发布阻断条件。
可以获得什么
目标是让团队少花时间重复确认，把注意力留给证据不足和风险更高的变更。
常见问题
大模型应用评测包含哪些关键评测维度？
通常覆盖四大体系：1) RAG 检索与生成指标（检索精确率、召回率、Faithfulness 忠实度、Answer Relevance 相关性）；2) 业务准确性（Ground Truth 命中率、语义相似度）；3) Agent 工具调用评测（工具选型正确率、参数填充准确率、规划路径步数）；4) 安全红队评测（越狱、提示词注入、毒性与隐私泄露）。
LLM-as-judge 自动评测真的可信吗？
在设计了结构化评分维度、Few-Shot 示例并配合基准判定模型时，LLM-as-judge 与人工评分的一致性会明显提高，但一致性要在你自己的样本上测出来，不能照搬别人的数字。推荐做法是将规则断言（正则/JSON Schema）、LLM 打分与专家抽检三者结合。
RAG 检索增强生成系统最核心测什么？
重点分层测试：检索层关注 Top-K 召回率与排序质量，生成层关注模型是否严格基于召回上下文回答（识别幻觉），端到端关注用户问题解决率与响应延迟。
大模型评测和传统软件测试如何协同？
传统测试保障接口协议、鉴权、限流、数据库存储等确定性系统链路；大模型评测保障概率性文本生成的质量下限。两者均集成在 CI/CD 中作为双重质量保障。