CodexQA

行业与实践研究与基准测试

平台当客户端:百度百舸用自定义镜像跑具身评测

CodexQA 团队阅读约 2 分钟

百度百舸《创建自定义推理镜像的评测任务》更新于 2026-10-13。平台调度仿真、分片并合并结果,镜像只做推理服务端。框架不必和预置模型一致。端口和超时不在这一页。

平台当客户端:百度百舸用自定义镜像跑具身评测

百度智能云百舸的《创建自定义推理镜像的评测任务》更新时间是 2026-10-13。这一页讲的是具身评测怎么接自己的推理镜像,不是一次公开跑分。具身评测在这里指带仿真环境的模型评测。

平台负责调度 Benchmark 仿真环境、分片执行、合并结果和展示。用户提供符合接口约定的推理镜像或推理服务,就能复用已有评测集、任务配置、进度和结果分析。

和「预置公共模型」「自定义模型权重」相比,自定义镜像不要求模型框架和平台预置框架完全一致,只要求接口对得上。页面说这适合已有自研推理、还要经常改模型的情况。

镜像是服务端

镜像启动后当推理服务端。评测运行时,平台当客户端:握手、下发观测、取回动作,再完成一个或多个 Episode。Episode 是一次仿真回合。

接口约定包括监听地址和端口、就绪探活、消息编码、握手与观测或动作的消息结构、超时。这些细则不在这一页,页面指向另一份接口说明,这里没有端口号,也没有超时秒数。平台另有配套 Agent Skill,可以在本地按接口检查和改镜像。这一页没有写出 Skill 的名字。

计费对象是任务里实际申请的四类资源:调度节点、推理服务节点、Benchmark 仿真运行、关联的存储挂载。没有单价。

权限要有模型评测功能,以及目标资源池、队列和存储挂载。自定义镜像还要有镜像仓库的拉取权限。评测视频和过程记录写到指定存储,访问权限跟着该挂载走。

四步提交

第一步准备推理镜像和启动命令。第二步在模型评测里新建任务,模型来源选「自定义推理镜像」,填写启动命令和环境变量。第三步按适配器限定的兼容范围添加 Benchmark 和 Task,再配评测模式、并行分片数、Episodes per Task 和运行资源,需要时再开视频。第四步提交后,在详情页看进度、监控、日志、推理调用错误摘要和评测结果。开了视频,才能预览 Episode 视频和推理过程记录。

并行分片数和每任务回合数都没有默认值。Benchmark 和 Task 的名字、兼容范围的清单,这一页都没有列。

限制

这一页没有模型分数,没有评测集题数,没有及格线。端口、编码和超时写在另一份文档里。计费只列了四类资源,没有价格。视频不开启就没有 Episode 回放。适配器限定了能加哪些 Benchmark,但清单不在这里。

百度智能云,创建自定义推理镜像的评测任务,2026-10-13,https://cloud.baidu.com/doc/AIHC/s/Ymv4w7xzt

觉得有用,转给同事

微信扫码

用微信扫一扫,在手机上打开后即可转发。

用 RSS 订阅

提交勘误