清晰度低于 20 就丢掉：百度在 GPU 之前先洗演示视频

清晰度低于 20 就丢掉：百度在 GPU 之前先洗演示视频

百度智能云百舸的《人类演示数据视觉预处理与质量清洗》更新时间是 2026-07-21。这一页是 P1 视觉清洗管线，在进入更贵的 GPU 感知之前，用 CPU 把低质片段丢掉。输入是带相机内参和畸变系数的原始演示视频。输出是去畸变、按场景切开、再通过清晰度、运动量和时长过滤的片段清单，格式是 JSONL，给后面的 P2 用。文档说 GPU 感知成本高，前置清洗是为了提高闭环吞吐和数据质量。页面没有给出洗掉了百分之多少。

六步怎么串

六步是串行的。S1 VideoUndistort 按内参和畸变系数做镜头校正，消掉桶形或枕形畸变。no_undistort=true 可以跳过。S2 VideoSplitByScene 用 ContentDetector 按画面突变切 clip。S3 VideoExtractMetadata 用 ffprobe 取时长、分辨率和 fps。S4 VideoSharpness 用 Laplacian 方差打清晰度，数值越大越清晰。S5 VideoMotionScore 用 Farneback 光流打运动量，标准化到 0 到 1。S6 Filter 按三个阈值留片段。

中间文件都在 tmp_dir：s1_undistort.jsonl 到 s5_motion.jsonl。最后写到 PFS 上的 output_file，文件名示例是 clips.jsonl。输入默认是 BOS 上的 /opt/aihc/data/embodied_pipelines/input_data/p1/manifest.json。

每步的默认值

S1 的 camera_model 默认 pinhole，也可以是 fisheye。输入列是 video、intrinsics、distortion。输出新增 undistorted。

S2 的 detector 默认 ContentDetector。threshold 默认 27.0，越小越敏感。min_scene_len 默认 15 帧，更短的片段会被合并。跳过去畸变时，输入列改回 video。切完按行 explode，一行一个 clip。

S3 没有独有参数。输出 meta，里面有 duration、video_width、video_height、video_fps。

S4 的 method 默认 laplacian。采样 fps 默认 2.0，max_frames 默认 60。输出 clarity，含 mean、median、max、min、std。

S5 的 optical_flow_algorithm 默认 farneback。use_cuda 默认 false。输出 motion，含 standardized_score、motion_pattern、mean_score。

S6 的三个门槛：clarity_min 默认 20.0，看的是 clarity.mean，低于就丢。motion_min 默认 0.05，看的是 standardized_score。min_duration 默认 0.5 秒。三个条件页面写成按阈值过滤，没写是必须同时满足还是任一不满足就丢。从「低于此值的片段被剔除」这三句看，每一项单独低于线都会被丢掉。最终列是 clip、duration、clarity、motion。

跑在哪

镜像默认 ccr-registry.baidubce.com/aihc/aihc-daft-gpu:0.5.2.1-cu121-py3.11-ubuntu22.04。必填还有 queue_id、pfs_id、output_file、tmp_dir。priority 默认 high。PFS 挂到 /mnt/pfs。BOS 默认 aihc-rdw-bj/aihc-daft，挂到 /opt/aihc。Head 默认 4 CPU、8 GB 内存。shared memory 默认 8 GB。Worker 默认 1 个副本、6 CPU、12 GB 内存、0 张 GPU。这和「进 GPU 之前先用 CPU 洗」一致。

限制

这一页没有清洗前后的条数，没有清晰度分布，也没有和人工抽检的对照。20.0、0.05、0.5 秒、27.0、15 帧、每秒 2 帧、最多 60 帧，都是默认可改参数，不是测出来的最优值。运动分是 0 到 1 的标准化分，清晰度是 Laplacian 方差，两者不能放在同一把尺子上比。Worker 默认 0 卡，但镜像名里带 gpu，页面没有解释不用卡时镜像差在哪。

百度智能云，人类演示数据视觉预处理与质量清洗，2026-07-21，https://cloud.baidu.com/doc/AIHC/s/2mruca7ig