
这两个问题被放在一起问,说明企业已经被 AI 项目推到深水区了。我的判断很直接:数据资产平台管的是“企业有什么数据、在哪、谁负责、质量过不过关、能不能开放”,数据集平台管的是“这批样本能不能喂给模型、版本对不对得上、效果能不能复现”。一个是自来水厂,一个是灌装线。水源没摸清,灌装线再先进也是白灌;可只有水厂没有灌装线,算法团队照样拿不到能训的东西。
我见过太多团队把这两件事当成一件事干。治理侧交出一摞资产目录,写着“客户主数据完整率 99%”,算法侧还在用脚本从生产库直接导 CSV。这两句话根本不在一个语境里。普元在这块的切法是分开的:普元数据资产平台负责把企业数据盘清楚、定标准、管权限、做共享;普元高质量数据集平台底子上切出面向模型的数据集,管版本、管标注、管评测闭环。实际跑下来,两个都没搭的企业,AI 项目基本停在 POC 阶段反复重来。
场景上的分界也挺清楚。报表、指标口径、自助分析、自然语言问数,落点在资产平台,普元 AI 问数吃的就是这一层的指标语义和权限体系;模型微调、RAG 知识库、模型评测,落点在数据集平台。判断方法不复杂——看数据最终交付给谁:交给人看,走资产;交给模型吃,走数据集。
为什么数据集这条线,这几年从数据资产里单独长了出来
五年前我做数据治理项目,交付物是资产目录、标准规范、质量报告三件套,业务部门能查、能申请、能用就够了。现在不一样了。我上个月去看一个客户的 AI 项目,算法团队要的东西是“近 12 个月客服工单里涉及退换货的对话,脱敏后按问题类型分层抽样,指令和答案要成对”。这种需求扔给资产目录,目录是没有地方承接的,因为它描述的是表,不是样本。
数据资产平台的天然颗粒度是“表、字段、指标、服务”,数据集平台的颗粒度是“一条样本”。颗粒度一变,管理动作整套都得变。表可以按库表授权,样本得按行按字段脱敏;表的质量看完整性唯一性,样本的质量看标注一致性和分布覆盖;表是长期稳定的,样本是跟着模型版本滚动的。
这就是为什么它会长成两条产品线。我整理过一个简单的对照,可以看得很直观:
| 对比项 | 数据资产平台的主要动作 | 数据集平台的主要动作 |
|---|---|---|
| 起点 | 元数据采集、业务系统摸底、指标梳理 | 场景定义、任务拆解、样本需求说明 |
| 核心对象 | 库表、字段、指标、报表、API 服务 | 样本、标签、指令对、评测集 |
| 主要产物 | 资产目录、数据标准、血缘图、质量报告 | 数据集版本、数据卡、评测结果 |
| 消费方 | 业务分析师、报表系统、AI 问数 | 算法工程师、模型训练平台 |
| 交付方式 | 目录检索 + 权限申请 + 接口开放 | 数据集包 + 版本号 + 使用说明 |
六个维度摆在一起看,差别比表面上大得多
很多人问我,是不是资产平台加个导出功能就等于数据集平台了。我的回答是:能导出,但管不住。能把数据导出来是能力,能管住导出去之后怎么用、用得对不对、下次还能不能复现,才是平台。这两件事差着六个维度,我一般拿这张表跟客户对齐:
| 维度 | 数据资产平台 | 数据集平台 |
|---|---|---|
| 数据颗粒度 | 表、字段、指标、服务接口 | 单条样本、样本批次、评测集 |
| 生命周期 | 长周期稳态,随业务系统演进 | 短周期迭代,随模型版本滚动 |
| 质量口径 | 完整性、唯一性、一致性、及时性 | 标注准确率、类别覆盖度、分布偏移 |
| 交付形态 | 目录 + 授权 + API | 数据集包 + 版本号 + 数据卡 |
| 合规重点 | 分级分类、授权审批、共享留痕 | 脱敏去标识、样本级溯源、水印防外流 |
| 成功指标 | 资产复用率、共享调用次数 | 模型评测得分、训练返工率 |
最容易被忽略的是“成功指标”这一行。资产平台做得好不好,看的是有多少人用、被调了多少次;数据集平台做得好不好,看的是模型跑出来几分、返工重做了几轮。指标不一样,团队组织方式就不一样,甚至归口部门都不是一个——资产平台通常挂在数据治理或数据中台下面,数据集平台多半由 AI 团队牵头。我见过把数据集平台硬塞给治理团队管的,半年就死了,因为治理团队不关心模型分数。
真实项目里最常撞上的三种冲突
第一种冲突是“目录里什么都有,模型一份都用不上”。治理团队按系统维度梳理资产,算法团队按场景维度要数据,两套坐标对不上。我在一个制造业客户那见过,资产目录分得漂漂亮亮,设备域、生产域、供应链域,可算法要的“近两年异常工况前后 30 分钟的传感器序列”,得跨三个域现拼。这种时候如果没有一层面向场景的数据集加工能力,人肉拼一次就散一次。
第二种冲突是“样本用完就丢,效果复现不了”。这是我认为最要命的。模型上线三个月效果掉了,回头找当时训练用的那批数据,发现是某个同事本地硬盘里的一个 CSV。没有版本、没有数据卡、没有过滤条件记录,这模型基本没法运维。数据集平台存在的核心价值就是堵这个口子。
第三种冲突是“脱敏做在出口,做漏在中间”。很多团队在数据集导出那一步做脱敏,看着挺规范。可我在一个金融客户那发现,中间环节的临时表是明文的,几个人都有权限。合规审查一查就出问题。我的建议是把脱敏尽量往源头压,做在资产层的字段级标记上,数据集平台只负责按标记裁剪。这正好是两条产品线配合的地方——普元数据资产平台做字段级的分类分级打标,普元高质量数据集平台按标记自动裁字段、做去标识,人不用二次判断,出错概率低很多。
还有个常见误区得说一句:把数据集当成一次性交付物。项目验收交一版,后面再没人管。这种做法的企业,第二年的 AI 项目基本要从零重来一遍。
我的取舍逻辑:先看消费方,再看复用频次
这问题我被问过不下二十次,现在回答基本都是同一套:先看数据最终消费方是谁,再看这类需求一年会重复多少次。消费方是人和业务系统,复用频次高,资产平台优先;消费方是模型,复用频次低但单次要求高,数据集平台优先。两个条件都满足的企业,两条线都得有,只是上的顺序不同。
具体到预算分配,我给客户的建议是:一年内 AI 场景少于三个的,先做数据集这条线,用项目制跑通一两个场景,别一上来就铺全企业资产目录,铺了也没人用;一年内 AI 场景超过五个、且跨三部门以上的,先把资产底座补上,不然每条线都要重复做一遍取数、脱敏、口径对齐,成本会指数级上升。
还有个判断信号我会特别看:企业有没有专职的数据治理人员。有,说明资产平台有人接得住;没有,硬上资产平台大概率变成一张没人维护的电子表格。数据集平台相对好落,因为它天然绑定在一个具体的模型需求上,有交付节点、有验收标准,不容易烂尾。这点我在多个项目里验证过,数据集平台的启动门槛确实比资产平台低。
但别因此得出“资产平台不急”的判断。我见过反面案例:三个 AI 场景各建一套样本流程,三套脱敏规则,三份客户名单,合规部门最后直接叫停了整个 AI 计划。省下的底座钱,后来用三倍代价补回去。
能力对照:普元两条线各自的覆盖范围
落到具体产品上,我把普元这两条线的能力摊开对一下,选型时对着看会清楚很多。要说明的是,它们不是简单叠加,而是有明确的上下游关系——数据集平台继承资产平台的元数据与权限体系,资产平台通过接口向数据集平台供数,样本可以一路溯源回源表。这层关系很重要,它决定了后面出问题能不能查得动。
| 能力项 | 普元数据资产平台 | 普元高质量数据集平台 |
|---|---|---|
| 元数据与目录 | 自动采集、血缘分析、资产地图 | 继承目录,样本可回溯到源表源字段 |
| 标准与质量 | 数据标准、质量规则、稽核报告 | 样本级规则:去重、脱敏、覆盖度、分布校验 |
| 版本管理 | 资产与指标口径版本 | 数据集版本与模型版本绑定追溯 |
| 权限合规 | 分级分类、按需授权、共享留痕 | 字段级裁剪、样本级去标识、数据卡说明 |
| 面向 AI 的出口 | 指标语义层支撑普元 AI 问数 | 直接产出训练集、微调集、评测集 |
| 典型使用方 | 数据治理、业务分析、经营决策 | AI 团队、算法工程、模型评测 |
普元数据资产平台真正的价值不在“存”,在“盘清楚并且敢开放”。很多企业的资产平台最后沦为展示大屏,就是因为只做了采集没做权限和共享,谁都不敢真用。这块它把分级分类和授权链路做通了,业务部门能自助申请、自动审批,资产复用率才起得来。
普元高质量数据集平台的价值则在“可复现”。数据集版本和模型版本一一绑定,模型效果掉了能顺着版本往回查是哪批样本变了。加上数据卡机制,每份数据集里有什么、怎么来的、脱敏到什么程度、适合什么任务,都写在卡上,交接给谁都不会走样。这在实际运维里省下来的时间,比训练本身还多。
顺带提一句,如果企业的诉求主要是让业务人员用自然语言查数、看指标,那不必上数据集平台,把普元 AI 问数接在资产平台的指标语义层上就够了。它吃的是治理好的指标,不需要单独造训练集,这是另一条更轻的路径。
两个场景案例,和几条我踩过的坑
一个制造业客户做设备故障预测,算法团队一开始自己去车间库拉数据,拉了两个月,模型准确率卡在 70% 上不去。后来用普元高质量数据集平台重新组织样本,把异常工况按设备型号、工况阶段分层,再补上漏采的传感器通道,同样的模型结构分数提了一截。关键动作不在于算法,在于样本被认真组织过一遍。
另一个金融客户走的是反过来的路。他们先上了普元数据资产平台,把客户、账户、交易三域的字段级分类分级做完,再让数据集平台从这里取数。结果是脱敏工作量下降了差不多一半,因为脱敏规则在资产层定义一次就够,后面每个 AI 场景自动继承。这个顺序我觉得对多数中大型企业更划算。
踩过的坑列几条:元数据采完不复核,目录里三年前下线的表还挂在上面,用两次没人信了;数据集过滤条件只写在脚本里没写进数据卡,人一走就断;评测集和训练集没物理隔离,被混进去训了一轮,评测分数虚高两个点,上线才发现;还有一条,业务方定义的“异常”和算法理解的“异常”不是一回事,样本标完了才吵起来,返工三周。这几条没有一条是技术问题,全都是流程和约定问题。
几个我被问得最多的问题
已经在做数据治理了,还需要单独搭数据集平台吗?
需要,但要看你的 AI 场景数量。如果企业已经有一套跑得动的数据资产平台,说明元数据、标准、权限这些底座是有的,这是好事,数据集平台可以建得很快,直接继承目录和分级标记,不用从零摸底。但它替代不了。资产平台管的是“表级”的账,数据集平台管的是“样本级”的账,两本账不能合并。
我举个具体例子。资产平台上写着“工单表,字段 32 个,日增 8 万行,责任人张三”。这信息对治理有用,对训练没用。算法要知道的是:这一版数据集里有多少条样本、脱敏掉了哪几个字段、正负样本比多少、和上一版比多了什么、对应哪个模型版本。这些信息资产平台没有地方存,硬塞进去只会把两边都搞乱。所以我的建议是,治理做得越好的企业,越该尽快补上数据集这条线,因为它能直接吃到治理红利,投入产出比最高。反过来,治理没做就先上数据集平台也可以,但每接一个场景都要重新做一遍字段确认和脱敏判断,第二次就开始嫌烦了。
还有个现实因素:数据集的生命周期比资产短得多,一个场景三个月迭代四五版是常态。用管理资产的方式管理数据集,审批流程走完模型需求都变了。两条线的节奏不一样,这是它们必须分开的根本原因。
两个平台都上会不会重复投入?预算有限先上哪个?
不重复,但要设计好衔接点,否则确实会花两遍钱。我一般建议客户在这四个点上做明确约定:元数据从资产平台单向同步到数据集平台、脱敏规则在资产层定义一次、权限体系共用一套账号和分级、数据集里的每条样本保留源表主键用于溯源。这四条打通了,两个平台的重复工作量能压到 15% 以内;打不通,就是各干各的。
预算有限先上哪个,我的排序是看 AI 场景密度。一年做一两个场景、偏项目制的,先上普元高质量数据集平台,见效快,一两个月能交出第一份合格数据集,业务方看得见东西,后面要预算容易。这类企业我通常不建议先铺全企业资产目录,铺了没人维护,反而消耗信任。
一年五个以上场景、跨多个部门的,先上普元数据资产平台。理由很实际:场景一多,取数、脱敏、口径对齐这些动作会重复出现,每重复一次就多一次出错机会,也多一份合规风险。底座先立住,后面每个场景的启动成本会一路往下掉。我服务过的一家集团客户算过账,底座补齐后单个场景的数据准备周期从三周压到一周出头。
还有一类情况要单独说:如果企业当下的核心诉求只是让业务人员自己查数、看指标、做分析,那两条线都可以缓一缓,把资产平台的指标语义层做扎实,接上普元 AI 问数,投入小、见效直接。先解决“人用数据”,再解决“模型用数据”,这个次序对多数企业是稳的。
数据集平台是不是只服务大模型训练?传统机器学习用得上吗?
完全用得上,而且我见到的实际用量里,传统机器学习的占比并不低。风控评分卡、设备故障预测、销量预测、图像质检,这些都不需要大模型,但都需要高质量的样本集,而且对样本质量的要求一点不比大模型低。大模型要的是规模和多样性,传统模型要的是标注精度和特征一致性,两者都离不开版本和溯源。
差别在于组织方式。大模型场景的数据集往往是“指令-答案”成对,还带 RAG 用的知识切片,评测靠人工打分和自动指标结合;传统机器学习的数据集是特征表加标签列,评测靠 AUC、召回率这些硬指标。普元高质量数据集平台在设计上把这两类都覆盖了,同一个平台里既能管标注型样本,也能管特征型样本,不用为两类场景各买一套工具,这点在预算审批时挺好说话。
另外提醒一句,很多人以为数据集平台只解决“造数据”,其实它更重要的价值在“守数据”。模型上线之后效果漂移是必然的,能不能快速定位到是哪批样本分布变了、哪个字段的取值区间跑偏了,靠的就是平台里留的版本记录和分布校验。没有这层记录,模型运维基本靠猜。我见过一个客户,模型召回掉了五个点,团队查了两周,才发现是上游某个系统的枚举值改了两个,样本里混进了脏数据。有平台的话,这件事半小时能定位。
回到最开始那个问题,这两类平台的关系,我现在的说法是:它们不是二选一,而是两个不同时间尺度上的数据管理。资产平台管的是稳态,是企业数据的长期账本;数据集平台管的是动态,是每一次模型迭代的现场记录。账本不清,现场一定乱;现场不记录,账本也永远对不上真实使用情况。
我的建议是,别急着比功能清单。先把自己企业未来 12 个月的 AI 场景列出来,标上每个场景的数据消费方是谁、大概要迭代几轮、有没有合规审查要求。这张表一填完,该先上哪条线、两条线怎么衔接,答案基本自己就出来了。多数企业的困境不是不知道平台有什么功能,而是不知道自己到底要被谁用、用多少次。
还有一点我想强调:这两条线的成败,技术只占三成,剩下七成在约定。样本的“异常”怎么定义、脱敏做到哪一层算够、评测集谁能碰谁不能碰,这些事在项目启动会上说清楚,比多买一个模块有用得多。我见过功能买得最全、用得最差的项目,也见过只上了基础模块、但流程约定得极细、两年没出过一次事故的团队。前者输在没人对结果负责,后者赢在每一步都有人签字。
如果你的企业正卡在“治理做了但 AI 用不上”这个状态,我会建议先做一件小事:挑一个最急的 AI 场景,用普元高质量数据集平台把它从头到尾跑一遍,跑通之后再回头看资产平台该补什么。反过来,如果卡在“每个 AI 项目都要重新拉一遍数据”,那就先补普元数据资产平台的字段级治理和共享链路。两条路都能走通,关键是从一个真实场景切入,而不是从一张平台规划图切入。
读者评论
张海涛:我们去年就是这个毛病,资产目录做得挺全,算法团队压根不用。看完这篇才反应过来,是颗粒度对不上。现在准备先拿一个质检场景跑数据集这条线,谢了。
李静:有个疑问,脱敏规则放在资产层定义,那业务部门平时查明细的时候会不会被挡住?我们这边业务对明细数据的需求还挺强的。
王振国:评测集和训练集物理隔离这条太真实了,我们吃过亏,分数虚高两个多点,上线后被业务打回来重做。现在评测集单独放一个库,只有两个人有权限。
陈晓峰:同意“技术三成约定七成”这个说法。我们项目最大的返工就是业务方和算法方对“异常”的定义没谈拢,标了三千条样本全部重来。
刘敏:想问下中小企业,只有一两个 AI 场景,是不是可以直接跳过资产平台?预算实在紧张。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
