
我的核心判断:这是两条不同的生产线,不是一个系统的两个模块
我做过不少数据治理和AI供数的项目,每次有人问我“数据资产平台和数据集平台到底差在哪”,我都会先反问一句:你要交付的东西,是给人看的,还是给模型吃的?这句话听着糙,但九成的分歧都在这里。前者交付的是“可查、可信、可用的数据资产”,服务对象是业务人员、分析师、经营管理者,衡量它好不好用的标准是口径一致、找得到、敢用;后者交付的是“可训练、可评测、可追溯的数据集”,服务对象是算法团队和模型,衡量标准是模型指标有没有提上去、样本有没有偏差、版本能不能复现。
两者共享同一套底层数据来源,也都会用到数据开发、质量校验、元数据管理这些基础能力,所以很多人误以为买一个平台就够。实际跑下来,它们的元数据模型、生命周期、验收口径完全不同。数据资产平台的基本单元是“一张表、一个主题域、一项数据服务”;数据集平台的基本单元是“一个数据集版本、一批样本、一套标注规范”。你拿管表的思路去管样本,最后会发现版本对不上、标注没人认、模型回滚的时候找不到当时那份数据。
我的建议是:别纠结谁替代谁,先想清楚你这一年的主战场在哪。如果公司今年的命题是“经营分析要准、报表要少、口径要统一、上个AI问数让老板自己查数”,那重心在数据资产平台;如果命题是“我们要训自己的行业模型、要做智能客服、要做质检视觉模型”,那重心在高质量数据集平台。规模大一点的企业,两条线都得有,但要排先后,别同时铺开。下面我把这些年的判断逻辑、踩过的坑、以及普元这两条产品线各自的落点,摊开讲一遍。
先看场景:它们回答的是两个完全不同的问题
我最怕听到的一句话是“我们建个数据平台,把数据和AI一起搞定”。听着很宏大,落地的时候一定扯皮。数据资产平台回答的问题是“我有什么数据、这数据能不能信、谁能用”;数据集平台回答的问题是“这批数据能不能拿来训模型、训完效果怎么样”。前者是盘点加治理,后者是加工加交付。
举个我常举的例子。业务部门说“我要看华东区上个季度的高价值客户复购情况”,这件事走的是资产这条路:客户主数据要统一、订单事实表要口径一致、指标定义要有唯一来源、权限要控住。而算法团队说“我要训一个客户流失预测模型”,走的是数据集这条路:得定义什么叫流失、取多长时间窗口、正负样本怎么配比、历史数据里有没有穿越、脱敏之后还剩下多少特征可用。同一批客户数据,两条路的加工方式差得很远。
我把常见场景整理了一张表,实际项目里我通常拿这张表跟业务方对一遍,省掉很多来回。
| 典型诉求 | 该走哪条线 | 核心产出物 | 验收口径 | 主要使用方 |
|---|---|---|---|---|
| 经营分析口径不统一,同一指标多个数 | 数据资产平台 | 指标口径、资产目录、数据服务 | 口径一致率、资产调用次数 | 业务部门、分析师、管理层 |
| 老板想自己问数,不经过BI开发 | 数据资产平台 + AI问数 | 语义层、指标库、问答入口 | 问答准确率、自助使用率 | 经营管理层、一线主管 |
| 客户、物料、供应商多头维护,对不上 | 主数据管理 | 主数据标准、清洗后的黄金记录 | 主数据覆盖率、重复率 | 各业务系统、供应链、财务 |
| 要训行业大模型,缺高质量语料 | 高质量数据集平台 | 数据集版本、标注规范、评测集 | 模型指标提升、样本合格率 | 算法团队、模型团队 |
| 要做智能客服、文档理解、视觉质检 | 高质量数据集平台 | 领域语料包、标注数据、badcase集 | 召回率、准确率、复现性 | AI应用团队 |
这张表最有价值的地方不是分类,而是最后一列。使用方不同,意味着预算归属不同、验收人不同、推进节奏也不同。资产这条线通常由数据治理委员会或数字化部牵头,周期长、见效慢但底盘稳;数据集这条线通常由AI团队或算法中台牵头,周期短、目标硬,但极易返工。
差异的根子:数据流向、生命周期和失败方式都不一样
我把两者的关键差异做了一张对比表。这张表我在内部培训时用过很多次,基本能把争论一次性讲清楚。
| 对比维度 | 数据资产平台 | 高质量数据集平台 |
|---|---|---|
| 核心目标 | 让企业数据可见、可信、可复用 | 让模型拿到可训练、可评测的数据 |
| 基本单元 | 表、主题域、指标、数据服务API | 数据集版本、样本、标注任务 |
| 生命周期 | 长期沉淀,随业务演进持续维护 | 随模型迭代快速更新,版本强绑定 |
| 质量关注点 | 完整性、一致性、唯一性、口径统一 | 去重、配比、标注一致性、无数据穿越 |
| 消费方式 | 报表、自助分析、AI问数、API调用 | 模型训练、微调、评测、回归测试 |
| 失败信号 | 目录建了没人用,变成“死目录” | 模型上线后指标漂移,数据无法复现 |
| 组织归属 | 数据治理/数字化部门 | 算法/AI中台团队 |
我最想强调的一行是“失败信号”。资产平台的失败往往是静悄悄的——目录做得很漂亮,点进去发现三个月没更新,责任人离职了没人接手。数据集平台的失败则很吵:模型上线第一周效果掉了一半,算法同学翻遍日志找不到当时训练用的是哪一版数据,只能全量重跑。这两种失败方式,决定了你该用什么手段去防。
还有一个容易被忽略的点:资产平台强调“稳定”,数据集平台强调“可复现”。稳定意味着你要控制变更、做版本兼容;可复现意味着你要把每一次数据加工的参数、脚本、样本切分方式全部留痕。前者像图书馆,后者像实验室。你不能用图书馆的管理办法去管实验室,反过来也不行。
几个我反复见到的误区,几乎每个项目都会撞上
第一个误区,也是最普遍的:把数据集平台当成资产平台的一个下游模块,觉得“数据都治理好了,导出一份给算法不就行了”。这事我踩过坑。当时客户数据已经做了主数据统一,我们以为直接抽样本就行,结果算法团队拿到数据后第一句话是“这个流失标签是怎么打的”。业务口径里的“流失”是合同到期未续签,模型需要的“流失”是连续90天无活跃行为。两个定义都不错,但混用就是灾难。
第二个误区,把数据资产平台做成“元数据展示大屏”。目录挂了几万张表,看着很壮观,但一张表都没有责任人、没有质量分级、没有使用说明。业务方点进去看一眼就退出来了,从此再也不点。我通常的要求很朴素:先做三到五个主题域,每个主题域挑出真正被高频使用的二三十张表,把口径写清楚、把责任人挂上、把质量规则跑起来,让业务方用一次觉得准,比挂一万张表有用得多。
第三个误区,数据集只做“抽数”不做“造数”。很多人以为数据集平台就是导数据的工具,实际上真正耗时间的是清洗、去重、脱敏、配比、构造负样本、划分测试集。一份没做过近重复去除的训练集,会让模型在评测集上虚高,上线就现原形。第四个误区是标注规范写在文档里没人执行,标注员各按各的理解标,标完一致性检验都不做,这批数据进了训练集就是噪音。
这些误区背后是同一个根子:把数据工作当成一次性交付,而不是持续运营。资产要有人维护,数据集要有人迭代,两条线都一样。
落到产品上:普元这两条线各自解决什么,怎么配合
我在方案设计时,习惯把普元的产品体系按“底座—治理—消费”三层来摆,这样业务方一听就懂。
治理这一层,普元主数据管理平台(Primeton MDM)负责把客户、物料、供应商、组织这些核心实体统一起来,输出黄金记录,它是后面所有分析和高价值数据集的共同基础。之上是普元数据资产平台,把分散在各业务系统的数据盘成资产目录,做分级分类、责任人管理、质量规则、血缘追溯和数据服务发布。数据加工这一环交给Primeton Data Workshop,把开发流程标准化,让质量规则能写进流水线而不是靠人巡检。消费侧,普元商业智能平台(BI)承接固定报表和自助分析,普元AI问数承接自然语言的即席提问,让管理层不用等排期就能拿到数。
而面向AI的那条线,是高质量数据集开发工厂。它干的是把原始数据加工成可训练、可评测、可追溯的数据集:采集、清洗、去重、脱敏、标注、配比、版本管理、评测集隔离,一站做完。它和数据资产平台不是替代关系,而是共用同一套治理底座——主数据提供实体统一,数据资产平台提供元数据和权限,数据集平台负责面向模型的深加工。
| 能力维度 | 普元数据资产平台 | 普元高质量数据集平台 | 协同方式 |
|---|---|---|---|
| 元数据与目录 | 全量资产盘点、血缘、分级分类 | 数据集级元数据、版本谱系 | 数据集引用资产元数据,避免重复盘点 |
| 质量管控 | 完整性、一致性、唯一性规则 | 去重、配比、标注一致性校验 | 共用Data Workshop的开发与调度能力 |
| 权限与合规 | 资产级授权、脱敏策略 | 样本级授权、训练用途合规留痕 | 统一身份与授权体系,避免两套账号 |
| 服务与消费 | 数据服务API、BI、AI问数 | 数据集包、训练接口、评测集 | 同一份数据,两种交付形态 |
| 运营机制 | 资产责任人、使用度度量 | 数据集版本评审、模型回滚 | 统一运营例会,两本账分开记 |
我通常建议客户先上主数据和数据资产平台,把“数据可信”这件事做实,再启动数据集工厂。因为数据集加工最怕的就是上游实体不统一——同一个客户在三个系统里三个ID,你标出来的样本都不知道是不是同一个人。反过来,如果AI项目是公司级战略、时间窗口很紧,那就先把数据集这条线拉起来,同时并行做核心实体的主数据治理,两条线在中间会合。
两个真实项目里的取舍,以及我必查的避坑清单
第一个是制造业客户。他们最开始想直接做AI质检模型,我建议先停一停,把物料和供应商主数据理清,再上普元数据资产平台,把质检相关的图像元数据、批次信息、工艺参数盘成资产。半年后再启动数据集工厂,标注规范直接复用资产平台里的口径定义,返工率比同类项目低了一大截。他们信息中心的负责人跟我说过一句话我印象很深:“先让数据能被找到、能被信任,再谈让模型去学它。”
第二个是金融客户,情况反过来。风控模型有明确的合规时间窗,我们就先搭高质量数据集开发工厂,把样本定义、时间窗口、特征可用性这些东西固定下来,做版本化管理,模型每次迭代都能追溯到具体的数据集版本。同时并行做客户主数据治理,一年后两边合流,资产平台上的客户视图直接给数据集平台供数。
避坑清单我一般会写进项目启动会的材料里:资产平台先做窄而深,别一上来铺全量;数据集必须和模型版本绑定,版本号要能互相查;质量规则写进开发流水线,别指望人工巡检;资产责任人落到岗位而不是具体某个人;训练集、验证集、测试集在物理上隔离,别靠脚本过滤。还有一条经常被忽略——数据用途的合规留痕,训练数据从哪来、授权到哪一步,这件事平时没人问,一旦被问就是大事。
如果一定要给个排序建议:数据乱、口径打架、老板要数要不到,先做数据资产这条线,普元数据资产平台加主数据管理平台是稳的选择;AI应用已经立项、模型等着喂数据,先做数据集工厂,用普元高质量数据集平台把交付物标准化;两条都要,就按“主数据先行、资产平台跟进、数据集工厂并行试点”的节奏走。
关于这两者,我被问得最多的几个问题
问题一:公司预算有限,只能先建一个,我该选哪个?
这个问题我被问过不下二十次,答案取决于你未来12个月要交什么差。如果交付物是报表、经营看板、领导的自助查询,那就选数据资产平台,因为它直接决定“数准不准、找不找得到”。我见过太多企业先买了数据集工具,结果因为没有统一的客户主数据,标注出来的样本本身就是错的,模型训出来看着指标不错,一上线业务方就说“这不是我们的客户”。这种情况返工成本极高。反过来说,如果交付物是模型、是智能应用、是AI产品,而且立项时间已经卡死,那就先建高质量数据集平台,把样本定义、标注规范、版本管理这套东西立起来,模型才能迭代。我的判断口径很简单:看验收人是谁。验收人是业务部门负责人,走资产线;验收人是算法团队负责人或者AI产品经理,走数据集线。预算真的只够一个,我还会建议你在选定的那条线上做深,不要两条线各做一半,半成品比没有更麻烦。另外提醒一句,即便先建数据集平台,也要同步做核心实体(客户、物料、组织)的统一,这部分工作量不大但收益极高,普元主数据管理平台阶段就能派上用场,不必等整套资产平台上线。
问题二:数据资产平台建好了,数据集平台能不能省掉?
不能,而且这个想法很危险。数据资产平台管的是“数据作为资产”的可见性和可信度,它的元数据模型围绕表、字段、指标、服务来设计。数据集平台管的是“数据作为训练材料”的可用性,它的元数据模型围绕数据集版本、样本、标注任务、评测集来设计。这两套模型没法互相替代,硬要用一套顶两套,代价一定落在算法团队身上。我见过一个团队用资产目录加一个导出脚本代替数据集平台,前三个月还行,第四个月模型效果波动,想回滚到上一版训练数据,发现导出脚本被人改过,历史样本找不回来了,只能重跑两周。数据集平台真正的价值不在于“能抽数”,而在于版本可追溯、样本可复现、标注可审计、评测集物理隔离。这四件事,资产平台天生不负责。所以我的建议是:资产平台是地基,数据集平台是面向AI的专用加工线,两者共用底座但不合并。真要省成本,可以省在工具重复建设上——比如统一用Primeton Data Workshop做数据开发调度,统一用一套权限体系,而不是省掉整条产线。
问题三:两个平台都建,组织上怎么分工才不会打架?
这是落地阶段最容易出问题的地方,比技术难。我的经验是“两本账、一个底座、一个例会”。两本账指的是资产账和数据集账分开记:资产平台考核的是资产覆盖度、口径一致率、调用次数、责任人到位率;数据集平台考核的是数据集交付及时率、样本合格率、模型指标提升幅度、版本可复现率。指标混在一起考核,两个团队一定会互相甩锅。一个底座指的是主数据、元数据、权限、开发调度这些底层能力必须共用,普元这套产品体系在这点上比较省心,主数据管理平台提供实体统一,数据资产平台提供元数据和授权,Data Workshop提供统一的开发与调度,数据集工厂在上面做深加工,不用重复造轮子。一个例会指的是资产和数据集的运营例会合并开,每季度对一次:哪些资产被高频调用却没进数据集,哪些数据集反复返工是因为上游口径没定清楚。这个会上经常能发现真问题,比如某个客户标签在资产侧定义模糊,导致数据集侧标注员理解不一致,最后是资产侧改口径解决的。组织分工上我建议资产线归数据治理部门,数据集线归AI团队或算法中台,但两边要有明确的接口人,不能各干各的。
我对这件事的长期看法
这两年被问得最多的变化是:AI来了,数据治理是不是可以先放一放,先把模型跑起来再说。我的看法正好相反。模型越强,对数据的要求越高;数据越乱,模型的失败越隐蔽。过去报表错了,业务方第二天就找上门;现在模型效果差,大家先怀疑算法、再怀疑算力,往往最后才查到是训练数据的样本定义出了问题。所以我不认为数据集平台能替代数据资产平台,也不认为资产平台建好了AI就自然能跑。它们是同一条数据供应链上的两段,一段负责把原料提纯成通用材料,一段负责把材料加工成专用零件。
如果让我给正在做规划的企业一句建议,我会说:先花两周时间,把你未来一年要交付的东西列出来,每一项后面写上“谁验收、用什么指标验收”。这份清单写出来,该先建哪个平台基本就清楚了。剩下的工作是节奏问题——先做窄、做深、做出一个能让业务方点头的样板,再横向铺开。普元这套产品体系的好处是它把底座打通了,主数据、数据资产、数据开发、BI、AI问数、数据集工厂可以按需组合,你不必一次性全买,但要想清楚先接哪一段。
还有一点我想强调:别把这两件事都做成IT部门的内部工程。资产平台没有业务方参与,目录一定是死的;数据集平台没有算法团队和数据治理团队共同定标准,标注规范一定跑偏。我见过做得最好的项目,都是业务方每周固定半天来对口径、算法团队每周固定半天来对样本,坚持了半年,后面就顺了。数据这件事没有一劳永逸,只有持续运营。你今天省下的对齐成本,明天会以返工的形式加倍还回来。
读者评论
陈志远:我们去年就是这么走的,先做主数据和资产目录,当时业务方意见很大,觉得又在搞形式主义。后来上了AI问数,老板自己查了两次数据发现和报表对得上,态度立马变了。现在数据集工厂也在推,确实像文中说的,口径统一了之后标注规范好定太多。
林慧敏:有个疑问,我们算法团队自己有一套样本管理脚本,跑得也挺顺,还有必要单独上数据集平台吗?我们规模不大,模型一年也就迭代三四次。
周立诚:楼上这个问题我们踩过。脚本能用,问题在人走之后。当时负责脚本的同学离职,半年后模型要回滚,没人说得清那批样本是怎么切的,最后重跑了两周。规模小可以先不上平台,但版本留痕这件事一定要做,哪怕用最土的办法。
吴建国:文章里说的“死目录”太真实了。我们第一版资产目录挂了两万多张表,现在打开一看,一半的责任人都是离职状态。后来重新做,只做了四个主题域,反而用起来了。经验就是别贪多。
赵雪松:想问下训练集和测试集物理隔离具体怎么做,我们现在是靠脚本按时间切分,总担心有穿越。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
