
先说我的判断:智驾里的 AI 标注,本质不是”人力工序”,而是一条数据资产生产线的第一道闸门。这道闸门开得好不好,决定后面训练、仿真、回灌全链条的效率和成本。我在几家做 L2+ 和泊车方案的公司里看到的普遍情况是——模型团队在卷网络结构,标注团队在卷人效工时,可真正卡脖子的地方在中间:数据从车上下来之后进了谁的手、被切成什么样、打了什么标签、版本对不对得上、三个月后还能不能复现出当时的训练集。这些事没人管,标注做得再快也是白做。实际跑下来,返工率能到三成,采样偏差能把一个长尾场景直接漏掉,仿真回放时发现标签规范换了三代。
所以我的建议从来都是反过来的:先立数据治理的规矩,再谈标注效率。把场景标签当成主数据来管,把标注产物当成数据资产来编目,把数据集版本当成发布物来控。普元的高质量数据集平台就是按这个思路做的,它不替你做框选,但它管住了”标注前是什么、标注后变成什么、谁在什么版本上训练”这条链路。我见过太多团队在标注工具选型上花三个月,在数据集治理上花零天——这就是我要在这篇文章里说清楚的事。
智驾数据闭环里,标注到底卡在哪个环节
一辆测试车一天能采 2 到 6 个 TB 的原始数据,其中真正值得标的可能不到 5%。标注的第一道成本不在标,在筛。我通常会看三件事:触发式采集的规则有没有沉淀成可复用的场景库;回传上来的数据有没有打上时间、地点、天气、车速、传感器配置这一类元信息;筛出来的片段有没有跟已有的数据集做过相似度去重。这三件事只要缺一件,标注预算就会漏水。
第二道成本在规范。同一个”可行驶区域”,三个标注组长能给出三套边界定义,这事我踩过坑。规范文档写在 Word 里、靠群里喊话同步,两个月后新人进来就全乱。我会要求把标签体系做成受控词表,带版本号,带生效时间。
第三道成本在回流。标注完的数据怎么回到训练集、怎么跟仿真场景对上、怎么证明这批数据和上一批不冲突——很多团队这里是断的。
| 环节 | 典型耗时占比 | 主要损耗点 | 可治理抓手 |
|---|---|---|---|
| 数据采集与回传 | 15% | 无效数据占比高、元信息缺失 | 场景库 + 元数据标准 |
| 筛选与去重 | 20% | 重复标、漏标长尾 | 相似度检索 + 数据集编目 |
| 标注执行 | 40% | 规范漂移、返工 | 标签受控词表 + 质检抽样 |
| 验收与入库 | 15% | 版本混乱、无法复现 | 数据集版本管理 |
| 训练回流 | 10% | 训练集与场景脱节 | 数据集血缘 + 效果反查 |
自建、外包、平台化,三条路的真实账本
这三条路我都跟过。没有哪条绝对对,取决于你的数据规模和迭代节奏。自建团队的好处是规范和场景理解能沉淀,坏处是淡旺季人力差得离谱——某个版本要集中攻夜间雨天,人就闲一半。纯外包便宜、弹性好,但规范和质检得自己扛,一旦你的标签体系超过 200 个类目,外包方的培训成本会转嫁回来。平台化不是第四条路,它是前两条路的底座。
说白了,我见过的健康组合是:核心场景规范自己定,长尾和量产标注走弹性供给,中间用一套数据平台把规范、版本、质检、血缘管住。
| 对比维度 | 全自建标注团队 | 纯外包标注 | 平台化 + 混合供给 |
|---|---|---|---|
| 单位标注成本 | 高,人力闲置明显 | 低,但返工成本隐性高 | 中,靠复用摊薄 |
| 规范一致性 | 好,靠人传 | 差,靠文档传 | 好,靠系统强制 |
| 长尾场景响应 | 慢,招人周期长 | 较快 | 快,场景库驱动 |
| 数据集可复现性 | 依赖个人记忆 | 基本没有 | 版本化,可回溯 |
| 适合阶段 | 算法预研期 | 量产爬坡期 | 全周期,越往后越值 |
我在这类项目里见过的高频误区
第一个误区是把标注工具当平台。买了一套框选工具就以为数据链路通了,其实工具只解决”在图上画东西”,采样、去重、版本、质检、交付全是空白。我一般会问一句:你们现在能不能在十分钟内拉出”上个月所有夜间隧道场景、带锥桶、标注版本 v3.2″的数据集?答不上来的,工具买得再贵也没用。
第二个误区是先标后治。想着先把数据标完入库,回头再治理。回头基本不会来。数据一旦以脏的形态堆成几百 TB,治理成本是指数级的。普元数据资产平台这类东西的价值就在于,它让”先治”变得不比”先标”更麻烦。
第三个误区是拿准确率当唯一指标。标注准确率 98% 听着漂亮,但如果那 2% 全集中在罕见场景上,模型该失效还是失效。我通常看的是分层准确率和场景覆盖率两个数一起看。
第四个误区是忽略标注数据的时效。去年标的老场景,今年车端传感器换了、视野变了,标签就失效了。数据集得有保质期这个概念。
我的判断逻辑:先治理,再标注,再回流
顺序很重要。我会把整个链条拆成”进来—处理—出去”三段,每段先问治理问题,再问工具问题。进来这一段,问的是元数据齐不齐、场景标签有没有统一口径——这就是主数据的活,普元 MDM 那套思路搬到场景标签上完全成立,把”夜间””逆光””施工区”这些变成受控的、有编码的、可追溯的主数据项,而不是随手打的自由文本。
处理这一段,问的是标注任务的编排、质检规则的固化、返工的自动回流。这一步靠的是数据开发平台的能力,Primeton Data Workshop 在做的就是把标注任务当数据作业来调度,让”这批数据走到哪一步了”变成可查的状态,而不是群里问。
出去这一段,问的是数据集怎么版本化、怎么编目、怎么让算法同学自助检索。数据集不是文件,是产品。有版本号、有变更说明、有质量报告、有适用场景说明,才配叫数据集。普元高质量数据集平台做的就是这件事——把散落在各个盘里的标注产物,变成一本能查、能比、能复现的账。
一条标注流水线需要哪些底层能力
我习惯拿一张能力对照表跟客户过一遍,看他们缺哪块。缺工具是小事,缺底座是大事,因为工具能换,底座换一次伤筋动骨。下面这张表是我自己常用的对照维度,右边对应的是普元产品体系里能承接的部分。
要注意,这不是让你一次全上。我的建议是按”最痛的那一段”切入:如果你们现在最痛的是找不到数据,先上资产编目;最痛的是返工,先上标签主数据和质检规则;最痛的是训练集说不清来源,先上数据集版本与血缘。分三步走,一年内基本能成型。
| 能力维度 | 要解决的具体问题 | 承接的产品方向 |
|---|---|---|
| 场景标签主数据 | 标签口径不统一、自由文本满天飞 | Primeton MDM 主数据管理平台 |
| 数据资产编目 | 几百 TB 数据不知道有什么、在哪 | 普元数据资产平台 |
| 标注任务编排 | 任务状态不可见、返工靠人工拉 | Primeton Data Workshop 数据开发平台 |
| 数据集版本与血缘 | 训练集说不清来源、无法复现 | 高质量数据集平台 |
| 质量评估与分析 | 分层准确率、覆盖率说不清 | 普元 BI 商业智能平台 |
| 自然语言查数 | 算法同学不想写 SQL 查数据集 | Primeton AI 问数(AI 数据分析平台) |
这张表里我自己最看重两行:数据集版本血缘,和自然语言查数。前者决定你的事故能不能复盘,后者决定算法同学愿不愿意用这套平台。一套治理平台如果查个数还要提工单,三个月后就没人用了,这点我很坚持。普元 AI 问数在这块的价值,是让”上周那批夜间场景的标注通过率是多少”这种问题,算法同学自己问一句就有答案。
一个落地片段:从三个月对不上账,到一周能出报告
去年跟一个做泊车方案的团队聊,他们当时的状况是:三个标注供应商,四套标签规范,训练集存在五个 NAS 上。每回复盘一个泊车失败案例,要花三天找数据。算法负责人跟我说,他最怕的不是模型不收敛,是”说不清这个模型到底学了什么”。
后来做的事情不复杂:先把泊车场景的标签体系收成一套受控词表,用主数据的思路管起来,编码、层级、生效版本都定死;再把历史标注产物按数据集口径重新编目,打了场景、天气、光照、传感器配置几类元信息;然后用高质量数据集平台把数据集发布流程固化,每次交付带版本号和变更说明。整个动作前后两个多月,没换标注供应商,也没裁人。
效果上最直观的变化是复盘时间。从三天缩到半天,后来上了 AI 问数,产品经理自己就能问出某个场景的样本量和标注通过率。返工率从三成降到一成出头——不是因为标得更快,是因为规范不再漂移。
避坑清单:我会提前问的八个问题
一,标签体系有版本号吗?二,数据集能按场景维度检索吗?三,训练集和标注源能对上吗?这三个问题基本能筛掉八成不成熟的团队。剩下的几个我会这样问:质检是抽检还是全检、抽检比例怎么定;返工任务怎么回到原批次;供应商之间规范怎么同步;数据集有没有保质期和下线机制;模型效果下降时能不能反查到数据层。
还有一条容易被忽略:标注人员的培训记录要不要留。听着像人事的事,其实是数据质量的可追溯性的一部分。当一批数据出问题,你得知道当时是谁、按哪版规范标的。这件事用文档管很累,用平台管就是几个字段。
我的经验是,这八个问题里能答上六个的团队,上一套数据集治理平台的投入产出比会非常明显;答不上三个的,先别买工具,先把规范和流程理清楚。
关于这套技术,我被问得最多的几个问题
AI 自动标注能不能替代人工标注,现在到底能用到什么程度?
我的答案是:能替代大部分”重复劳动”,替代不了”定义边界”这件事。现在的预标注模型在常规场景上确实好用,一个检测框的初筛能省掉六七成的人工点击,跟踪、分割这些也能给个还不错的初值。但你要清楚它在做什么——它是在已有标签体系下做预测,标签体系本身对不对、边界怎么划、罕见场景归到哪一类,这些还是人定的。
实际跑下来,自动标注真正带来的收益不在”省人力”,在”让人的注意力集中到难例上”。以前标注员一天要处理两千帧,其中一千八百帧是简单的直道跟车,人容易疲劳、容易糊弄。现在预标注把这些吃掉,人工只看模型不确定的那部分,质检也有的放矢。这个转变对数据质量的影响,比单纯省成本大得多。
但我要提醒一句:预标注会把模型的偏差带进训练数据。模型没识别出来的目标,预标注也不会标,人工如果只是”确认一下”,这个漏标就被固化了。所以我的做法是保留一定比例的盲标——不给预标注结果,让人从零标,用来校验预标注的召回。这个比例我一般建议 5% 到 10%,按场景难度浮动。
再往深一层,预标注模型本身也需要数据集来训。这就形成一个循环:好的数据集训出好的预标注模型,好的预标注模型又反过来加速数据集生产。这个循环要转起来,前提是数据集是可管理、可版本化、可复用的,散在盘里的数据转不动。这也是我为什么一直强调,普元高质量数据集平台这类底座,在自动标注时代不是变得不重要,是变得更重要了。
中小团队预算有限,应该先投标注人力还是先投数据治理?
这个问题我被问过很多次,我的回答分两段。如果你的数据量还在几十 TB 以内、场景不超过三十个,先投人力,别急着上平台。这个阶段规范靠一两个人盯着就能守住,上重平台反而是负担。但有两件事现在就要做,一分钱不用花:把标签体系写成文档并给版本号,把每一批标注数据的来源和用途记下来。这两件事是后面一切治理的地基。
一旦跨过某个临界点,就该反过来。我的经验临界点是:标注供应商超过两家、场景类目超过一百个、或者数据量过了百 TB。到这之后,人力投入的边际收益会快速下降,因为大量的时间不是在标,是在找、在对、在返工。这时候上一套数据资产编目加数据集版本管理,省下来的时间通常半年内就能回本。
还有个现实问题:中小团队往往没有专职的数据治理岗。所以选型上我建议优先看”开箱能用、不要求你先建一套方法论”的产品,而不是功能最全的。普元这套产品体系里,数据资产平台和高质量数据集平台相对容易起步,因为它默认就带着一套数据集的编目和发布范式,团队照做就行,不用从零设计。
再补一句实在话:别指望一次投入解决所有问题。我见过的成功案例都是分阶段走的,第一阶段只解决”找得到”,第二阶段解决”对得上”,第三阶段才谈”用得好”。一上来就要做全链路治理的项目,多半死在第二个月。
标注数据的质量怎么量化?有没有一套能落地的指标体系?
我会把质量指标分成三层,别混在一起看。第一层是标注本身的准确性,包括分类准确率、框的 IoU 达标率、分割边界的一致性。这一层最容易测,也最容易被当成全部。我的建议是按场景分层统计,不要只看总体均值——总体 98% 而夜间雨天只有 85%,这个数是有欺骗性的。
第二层是数据集层面的完备性,包括场景覆盖率、类别分布均衡度、重复率、时效性。这一层经常被忽略,但它对模型的影响往往比第一层大。一个类别缺样本,标注再准模型也学不会。我通常会要求出一张场景覆盖热力图,看哪些格子是空的。
第三层是流程层面的可追溯性,包括规范版本、标注人员、质检记录、返工记录是否完整。这一层平时没人看,出事的时候全靠它。三层指标合起来才叫质量体系,单看任何一层都会误判。
落地的时候,我建议先做一张固定的周报,把三层的核心几个数放上去,让团队养成看的习惯。工具上,普元 BI 商业智能平台做这类多维统计报表比较顺手,场景、供应商、版本几个维度交叉着看,问题一眼能出来。指标不用多,一开始五六个就够,跑顺了再扩。指标体系这件事,最怕的是一上来设计三十个指标,三个月后没人看。
写到这里,我想说说这件事真正的难点
技术层面的东西,说穿了都不神秘。预标注模型会越来越强,标注工具会越来越好用,这些都是时间问题。真正难的是组织层面的那道坎:谁对”这份数据集能不能用”负责。在我见过的大部分团队里,这个责任是悬空的——算法团队觉得数据是标注团队给的,标注团队觉得规范是算法团队定的,两边都觉得质量是质检的事。结果就是出了问题互相找补,没人往前一步。
所以我一直主张,数据治理这件事必须有人牵头,而且这个人得有权定规矩。规矩定下来之后,才轮到工具上场。普元这套产品体系位置上的作用,说白了就是把”规矩”变成”系统里的硬约束”——标签不在词表里就建不了任务,数据集没版本号就发布不了。人管的规矩会松,系统管的规矩不会。这是我比较看重的一点。
回到驾驶这件事本身。未来的驾驶方式会怎么变,我不敢乱预测,但有一点我比较确定:车上跑的每一个决策,背后都是无数条被标注过、被治理过、被验证过的数据在支撑。消费者感受到的是”这车挺聪明”,从业者知道那是数据链条上一环扣一环的结果。这条链条上任何一个环节偷懒,最终都会在某个雨夜的某个路口暴露出来。
你准备好迎接这些变革了吗?我的看法是,准备不是去买最新的模型或者最贵的标注工具,而是先回答一个朴素的问题:三个月后,你还能不能准确说出你的模型在什么数据上训练过。能答上来,变革对你就是机会;答不上来,那就是风险。我会建议从今天开始,把手上正在跑的那批标注数据的来源、规范版本、用途,用一张表记下来。这件事花不了半天,但它可能是一整条数据资产链条的起点。
读者评论
陈立川:说得挺实在的。我们去年就是买了一堆标注工具,结果数据集还是一团乱,现在正在补数据编目这一课,早看到能少走一年弯路。
周敏华:分层准确率这个说法我很认同。之前我们只看总体,夜间场景一直上不去,后来按场景拆开才发现问题在哪。想请教下场景覆盖热力图你们一般按几个维度切?
梁哲:自动标注那段写得好。我们也发现预标注会把漏标固化,现在保留了大概 8% 的盲标做校验,成本能接受。
许文君:当作从业者视角的经验分享看很合适,尤其是”谁对数据集能不能用负责”这一句,戳中了我们团队现在的痛点。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
