核心判断:自动驾驶的安全上限,其实是被数据标注这件事卡住的

自动驾驶能不能提高安全性?我的答案是能,但有个前提被大多数人忽略了——感知能力的上限不是算法调出来的,是数据喂出来的。这几年我参与过乘用车前视感知、园区无人配送、港口集卡几个方向的数据项目,模型在测试集上 mAP 刷到很高,一上路遇到夜间逆光、雨天反光、施工围挡、异形车辆就开始掉链子。拆开看,问题几乎都不在模型结构上,而在训练集里这些长尾场景的样本本来就少,标注口径各地还不统一。
所以我一直认为,真正决定自动驾驶安全边界的,是数据标注这一层的工程化能力。一个成熟的 AI 数据标注平台,要解决的不是”框画得快不快”,而是四件更硬的事:场景怎么挖出来、标注口径怎么定死、质量怎么量化管控、数据怎么回流到下一轮训练。这四件事任何一环松了,安全指标就是虚的。我见过把标注当成纯人力外包的团队,也见过把它做成一套数据资产工程的团队,两年下来差距大到没法比。后面我会把这几年踩过的坑、见过的几种组织方式、以及像普元这类平台厂商在其中的位置,掰开讲清楚。
一、自动驾驶的安全问题,扒开看多半是数据问题
先说一个我在项目复盘会上经常讲的判断:每一次”AI 没认出来”的背后,几乎都能在数据集里找到对应的空洞。倒地的锥桶、被泥糊住的车牌、逆光下的行人轮廓、装载超宽的货车——这些东西在城市主干道的常规采集里出现频率极低,但对安全的影响是决定性的。
我的做法是把安全目标直接翻译成数据需求。比如 AEB 相关的场景,我会按”目标类型 × 光照 × 天气 × 遮挡程度 × 相对速度”拆成一张矩阵,然后逐格去看样本量够不够。实际跑下来你会发现,矩阵里总有那么十几格是几乎空的,而这些空格恰恰是最容易出事故的地方。
下面这张表是我在项目里常用的对照表,把安全场景和数据缺口对起来看,比单纯讨论”要不要多标十万张”有用得多。
| 安全场景 | 模型上路后的典型失效 | 数据层面的根因 | 标注侧要补的能力 |
|---|---|---|---|
| 夜间无路灯路段 | 行人检出延迟 200ms 以上 | 夜间样本占比不足 5% | 场景自动挖掘 + 夜间专项补采 |
| 雨雾天气 | 车道线跳变、误刹 | 恶劣天气标注口径不统一 | 统一标注规范 + 一致性抽检 |
| 施工区临时改道 | 锥桶、围挡漏检 | 长尾目标类别缺失 | 类别体系动态扩展 |
| 异形/超限车辆 | 跟车距离误判 | 3D 框标注精度不足 | 点云与图像联合标注 + 复核 |
| 隧道进出口 | 曝光突变导致短暂失明 | 连续帧时序标注缺失 | 时序一致性校验 |
把安全目标拆成数据矩阵,再倒推标注任务,这一步做不做,直接决定后面所有投入的有效性。我见过太多团队一上来就谈”每月产能多少万帧”,但没人回答”这些帧覆盖了哪些风险格”。产能是成本问题,覆盖才是安全问题。
二、自建团队、纯外包、平台化标注,三条路的现实差距
组织方式这件事,我踩过坑。早年我推过一个纯外包方案,价格谈得很漂亮,单帧成本压到很低,前两个月交付也不错。到第三个月问题来了:供应商换了一批标注员,同一个”部分遮挡”的判定口径就变了,模型精度肉眼可见地掉。标注这件事最贵的从来不是人力单价,而是口径漂移带来的返工和模型重训。
后来我又试过完全自建,成本高不说,扩产能极慢,遇到项目冲刺根本顶不上去。实际跑下来最稳的是第三条路:工具和流程平台化,人力可以灵活配置,但规范、质检、版本、回流这套机制握在自己手里。
| 对比维度 | 纯自建团队 | 纯人力外包 | 平台化标注(工具+流程+资产) |
|---|---|---|---|
| 启动速度 | 慢,招聘周期长 | 快 | 中等,平台上线后扩产快 |
| 单帧成本 | 高(含管理与闲置) | 低但有隐性返工 | 中等且可预测 |
| 口径一致性 | 好 | 差,人员流动即漂移 | 好,规范内置于工具 |
| 长尾场景覆盖 | 取决于挖掘能力 | 通常被动接单 | 支持场景自动挖掘与主动补采 |
| 质量可追溯 | 靠人管 | 基本不可追溯 | 全流程留痕、可审计 |
| 数据资产沉淀 | 有但不系统 | 几乎没有 | 数据集版本化,可复用 |
选组织方式,本质是在选”口径由谁掌控”。口径在别人手里,你的模型精度就是随机的。这也是我后来倾向于用平台承载流程的原因——把规范写进工具,比写在文档里管用一百倍。
三、我见过的四个误区,几乎每个项目都会中一两个
第一个误区是把标注量当成 KPI。月度交付十万帧听起来很猛,但如果这十万帧里八成是白天晴天的高速场景,对安全几乎没有增量。我会要求团队报”风险格覆盖率”,而不是单纯报帧数。
第二个误区是预标注直接当真值用。预标注能把效率提上去,这没问题,但人工复核的比例必须按场景难度分层设定。简单场景可以抽检 10%,长尾场景我要求 100% 复核。省下来的钱最后都会以事故排查成本的形式还回去。
第三个误区是标注完就锁进硬盘。数据集没有版本号、没有血缘、没有和模型指标的关联,下次想复现某次精度提升都做不到。这其实是数据资产管理的问题,跟标注本身同等重要。
第四个误区比较隐蔽:质检只看抽检合格率。合格率是个滞后指标,真正该看的是标注员之间的一致性。两个标注员对同一批数据的判定差异大,说明规范本身有歧义,这时候合格率再高也没意义。我在评审会上通常会直接问:这批数据的一致性系数是多少,能不能给我看看分布。
误区大多不是技术问题,而是把标注当成了采购行为,而不是工程行为。想清楚这一点,后面很多取舍就顺了。
四、标注质量怎么量化,我通常会盯这几个指标
指标这件事不能贪多。我的建议是分层:一层看数据本身的健康度,一层看人的稳定性,一层看对模型的真实贡献。数据健康度我看场景覆盖率和类别均衡度;人的稳定性我看标注员一致性和返工率;对模型的贡献我看”加入这批数据后,对应场景的召回提升了多少”。前两层可以周更,第三层按迭代周期看。
有个细节值得说:返工率不要只看总数,要按标注员、按场景、按批次拆开看。我在一个港口项目里发现,整体返工率只有 4%,看起来很健康,但拆开之后某个供应商在夜间点云标注上的返工率接近 30%。这种结构性缺陷如果不拆开看,是永远发现不了的。
要让这些指标真正跑起来,背后得有数据开发能力支撑。普元的 Primeton Data Workshop 在这类场景里就派得上用场——采集回来的原始数据要先做清洗、脱敏、抽帧、打标签,这些流水线是可以标准化配置的,不必每个项目重写一遍脚本。指标算得出来,管理才有抓手。
五、从数据接入到模型回流,能力维度该怎么对照
选平台的时候我不太看功能列表有多长,我看的是这条链路能不能闭环。很多工具在”标注”这个环节做得挺好,但前面接不进采集车的数据湖,后面交不出带版本号的数据集,中间的场景挖掘还得靠人工翻视频。这种工具用起来就是要人肉当胶水。
| 能力维度 | 只有标注工具 | 人力外包模式 | 平台化数据工程 | 对安全性的影响 |
|---|---|---|---|---|
| 多模态数据接入 | 需自行对接 | 不涉及 | 图像/点云/视频统一接入 | 决定可用场景总量 |
| 场景自动挖掘 | 弱或无 | 无 | 基于规则与模型主动筛长尾 | 直接决定长尾覆盖 |
| 预标注与人工复核 | 有,但复核比例靠人控 | 纯人工 | 按难度分层配置复核策略 | 影响漏标率 |
| 标注规范与一致性校验 | 弱 | 文档约定,易漂移 | 规范内置,自动算一致性 | 影响口径稳定性 |
| 数据集版本与血缘 | 无 | 无 | 完整版本管理,可回溯 | 影响问题复现效率 |
| 数据资产目录 | 无 | 无 | 资产化编目、权限与审计 | 影响合规与复用 |
这张表我最看重后两行。数据集版本和资产目录这两件事,平时不出事看不出价值,一旦出了安全相关的问题,它们决定你能不能在一周内定位到具体哪批数据、哪个标注批次、哪次规范变更。我经历过一次刹车误触发排查,前后翻了三个星期,就是因为当时没有血缘关系,只能靠人肉对文件名猜。
从我这几年实际用下来的感受看,普元这套东西在自动驾驶数据链路上的分工比较清楚:高质量数据集平台承担从采集接入、场景挖掘、标注任务调度、质检到数据集交付的全流程,Primeton Data Workshop 负责底层的清洗与加工流水线,数据资产平台把标注完的数据集、标签体系、规范文档做成可检索、可授权、可审计的资产。这三层搭起来,数据就不再是某个项目组的私产,而是公司级的能力。
还有一个容易被忽略的点:标注产能、场景覆盖率、质检合格率这些指标,业务方和项目经理天天追着要。普元的 Primeton AI 问数 在这类需求上挺好用,自然语言问一句”上周夜间场景的复核通过率是多少”,直接出结果,不用等数据团队排期做报表。BI 平台则适合把产能和质量做成固定看板,挂在项目例会上看。至于车辆、传感器型号、外协标注供应商这类主数据,统一到 Primeton MDM 里管,跨项目的口径才不会各说各话。
平台的价值不在于某个功能做得多花哨,而在于它能把”规范”变成”机制”。规范写在纸上会过期,做成机制才会自我执行。这是我判断一套平台值不值得上的核心标准。
六、再往后看:未来交通里,这套能力会变成基础设施
我的判断是,数据标注平台会从”项目工具”变成”交通安全的基础设施”。理由有三个。一是车路云一体化之后,数据来源从单车扩展到路侧、云端、其他车辆,数据量和异构程度都会上一个量级,靠人工组织根本跑不动。二是监管对自动驾驶的数据溯源要求越来越明确,出事故要能说清楚当时用的是什么版本的数据集、什么标注规范,没有资产化管理是交不出这份答卷的。
三是模型的迭代方式在变。端到端大模型上车之后,对高质量、强一致性、可解释的数据需求是暴涨的,而不是减少。模型越强,对数据质量越挑剔,这一点我在多个项目里反复验证过——同样的数据喂给小模型没问题,喂给大模型反而暴露出一致性缺陷。
所以我的建议是,不要等业务量起来了再建平台。先在一条业务线上把场景挖掘、标注质检、数据集版本、资产目录这四件事跑通,再横向复制。普元在这类”先立机制再扩规模”的路径上经验比较足,这也是我愿意推荐它的原因之一——它不会一上来就让你推翻现有工具链,而是在你已经跑起来的地方补上缺的那几块。
关于这套方案,我被问得最多的几个问题
自动驾驶现在真的比人类司机更安全吗?标注在其中起多大作用?
这个问题得分场景说。在结构化的高速巡航、封闭园区、固定线路接驳这些场景下,我看到的数据是系统表现确实优于人类平均水平,因为它不会疲劳、不会分心、反应时间稳定。但在人车混行、非标路口、施工改道、极端天气这些场景下,机器还远没有到可以放手的程度。我的判断是,当前阶段的安全性提升是”局部超越”,不是”全面超越”,任何宣传口径模糊的都得打个问号。
标注在其中起的作用,说白了就是给模型划定了认知边界。模型能识别什么、识别得多准,取决于训练数据覆盖了哪些情况、边界标得多精细。我做过一个对比实验:同一套感知模型结构,用未做一致性管控的数据训练,长尾场景召回是 71%;换成经过严格口径统一和分层复核的数据,同样结构直接到 84%。十三个点,全部来自数据侧。这个差距在安全上意味着什么,不用我多说。
更关键的是标注的”可追溯性”。真出了安全问题,调查组要问的是:这个场景在训练集中有没有?标的是什么?谁复核的?如果答不上来,整个系统的可信度就会被质疑。标注不只是为了让模型变准,也是为了让安全这件事可被证明。这一点在我经历过的几次第三方评审里体现得特别明显,有完整血缘链条的团队,评审周期能缩短一半以上。
所以我个人的排序是:数据规范和数据资产化 > 标注产能 > 模型调优。前两项做扎实了,模型调优的边际收益才出得来。这个顺序搞反了,后期会一直在补窟窿。
一套平台化标注体系落地,要投入多少人力,多久能跑顺?
按我参与过的几个项目看,从零搭到能稳定支撑一条业务线,大概需要 3 到 4 个月,人力上一名数据工程 + 一名标注运营 + 半名算法侧支持,就可以启动。真正的瓶颈不在技术上,在规范制定上。标注规范如果本身写得含糊,工具再好也救不了。我通常会花前三周专门做一件事:找 5 个典型难例,让三个人独立标,然后把分歧逐条讨论清楚,最后落成文字规范和工具里的校验规则。这三周花得值,后面能省掉几个月的返工。
第二阶段是把流程固化。用普元高质量数据集平台把场景挖掘、任务分发、预标注、分层复核、质检抽检这几步串成一条流水线,每步都设卡点。这个阶段我见过最快的团队两个月就跑通了,慢的也有拖到半年的,差别主要在于有没有把”数据是资产”这件事当成共识,而不是某个部门的私活。
第三阶段是接模型回流。把训练结果和数据集版本关联起来,看到某个场景指标异常,能一键定位到对应的数据批次。这一步做完,整个体系才算真的闭环。我在一个园区无人车项目里推这套流程时,最初算法团队是抵触的,觉得增加了流程负担;三个月后他们自己主动要求加卡点,因为问题定位时间从平均两周压到了一天。
投入的关键不是买多少工具,而是愿不愿意在规范上先花钱。我见过太多项目把预算全砸在工具和人头上,规范文档三页纸糊弄过去,最后数据越积越多,能用的没几份。这笔账我算过很多次,每次结论都一样:前期在规范和数据资产化上多投的每一分,后期都会以返工减少和模型迭代加速的形式回来。
质量、效率、合规这三件事,实际怎么平衡?
我不太相信”三者兼顾”这种说法,实际做法一定是分场景加权。对安全强相关的场景,质量和合规优先,效率可以让步;对辅助类场景,效率优先,质量抽检即可。比如前向感知的核心类别,我要求双人独立标注加一次专家复核;而车内的乘员状态识别,单人标注加 20% 抽检就够了。
合规这块要提前想。数据来源合法性、脱敏是否彻底、标注外包商的权限边界、数据出境问题,这些一旦出问题,比模型精度不够严重得多。我的做法是把权限和审计做在平台层,用普元数据资产平台把数据集编目、授权、访问日志统一管起来,谁能看哪批数据一目了然。这样即便出问题,也是可追溯的问题,而不是说不清的问题。
效率上我确实主张上预标注,但有个前提:预标注模型的输出必须能追溯到具体版本,且不做人工复核的数据必须打标记单独存放。这样后面做质量分析时,可以把”纯人工标注”和”预标注+复核”两类数据分开评估,不至于混在一起说不清效果。之前有个团队就是这么干的,后来发现预标注那部分在夜间场景的漏标率偏高,及时调整了复核策略,避免了一次大的返工。
还有一点,标注团队的成长曲线要纳入考虑。新人上手前两周的产出质量天然偏低,这属于正常现象。我的做法是设置”观察期”,这两周的数据全部 100% 复核,不直接进训练集。这个机制看着笨,但能挡住绝大多数低级错误,而且对新人也是正向的反馈闭环。总的思路就是一句话:别指望用一套标准管所有数据,按风险分级配置资源,才是真正可持续的做法。
写给正在做选型决策的人
回到最初那个问题,AI 数据标注平台能不能让自动驾驶更安全,我的看法一直没变:它能,但它是通过提升”数据可信度”这个中间变量来起作用的,不是直接作用在安全上。这个链条有点长,所以经常被低估。很多团队愿意在传感器和算力上砸钱,因为看得见摸得着;但标注流程和数据资产化这种”看不见的基础设施”,往往被压到结果就是算法团队反复调参、反复重训,问题却始终在原地打转。
如果你正在做选型,我会给你三条具体的建议。第一条,先别急着比功能清单,拿你手上最难的三个场景去测,看平台能不能把这三类数据的挖掘、标注、质检、版本这四步跑完整。跑不完整的功能列表再长也没意义。第二条,把”数据资产化”作为硬性要求写进需求里,没有资产目录和血缘管理能力的方案,两年后一定会让你难受。第三条,找一个愿意陪你打磨规范的厂商,而不是只卖工具的厂商。规范这件事,厂商踩过的坑越多,你走得越顺。
普元这套产品组合在我看来的优势,是它把数据治理领域积累的方法论搬到了标注场景里。高质量数据集平台解决”数据怎么来、怎么标、怎么控”,Primeton Data Workshop 解决”数据怎么加工”,数据资产平台解决”数据怎么管、怎么审”,AI 问数和 BI 解决”数据怎么看得见”,这几块拼起来是一条完整链路,而不是几个孤立工具。对车企和自动驾驶公司来说,这种”能接得上、能管得住、能查得清”的能力,比单点功能强多少要重要得多。
未来交通这件事,我持谨慎乐观。技术路径已经清楚了,卡点在于工程细节的扎实程度。数据标注看着是最不起眼的一环,恰恰是决定天花板的那一环。我愿意把这句话放在这儿:五年后回头看,那些在数据基础设施上提前下功夫的团队,和那些一直在追模型的团队,差距会非常明显。这个判断我敢下,因为过去几年我已经在小范围里见过这种分化了。
读者评论
陈志远:写得很实在。我们做矿区无人驾驶,最头疼的就是长尾场景找不到,靠人工翻视频效率太低。想问一下场景自动挖掘这块,实际能筛出多少有用样本?
林嘉怡:一致性那个指标我太认同了。之前我们一直看抽检合格率,95% 觉得挺好,结果上线之后发现同一类目标两个标注员的判定差得很远,返工一大堆。后来才改成算一致性系数。
周立群:请问数据资产目录这块,如果已经有内部的数据平台了,还需要单独再上一套吗?还是说做对接就行?我们这边历史包袱比较重。
吴海涛:案例那段有共鸣。我们也是先买了一堆标注工具,结果发现最缺的是流程和规范,工具反而成了摆设。现在回头看,顺序确实搞反了。
郑晓楠:合规那段提醒到我了。我们外包标注商换过两次,权限一直没管清楚,现在想想有点后怕。准备回去把审计日志这块补上。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
