
国家数据集体系,说白了就是国家层面把散在各部门、各行业、各企业手里的数据,按统一目录、统一口径、统一授权规则组织成能被反复调用、能说清来源、能被追责的数据集,而不是把原始文件堆到一个大池子里。我判断这件事的成败,从来不看”汇聚了多少张表”,而看三个更朴素的问题:这个数据集在目录里能不能被搜到,它的口径能不能被解释清楚,它下个月还会不会更新。这三条立不住,接进来一万张表也是死数据。很多人把汇流理解成一次性的数据搬家工程,我的看法正相反,它更像给数据修一条从”存着”到”能用”的路,路基是标准,路面是质量,路标是目录。对普通人来说,这条路修通之后,社保医保的核验会更快,办事材料会变少,城市里的交通和气象提示会更细,问 AI 一个问题时它给出的数字背后能追到源头。对企业来说,过去要托人找关系、谈三个月才能拿到的行业数据,可能变成目录里一条可以线上申请的条目。但我也见过太多项目,把”接入完成”当成终点,一年之后口径全乱、责任人调岗、数据停更,谁也不敢用。所以这篇文章我不打算讲政策条文,我讲我在项目里看到的判断逻辑、踩过的坑,以及一套可落地的取舍方法。
国家数据集体系真正要解决的是”数据不可用”,不是”数据不够”
我跟不少业务部门聊过同一个问题:你们缺数据吗?十有八九回答不缺,缺的是敢用的数据。系统里有客户表、订单表、设备表,可要做一个跨部门的分析,光是核对”活跃客户”这个词的定义就要开三次会。数据集体系要解决的正是这一段——把技术视角的”表”翻译成业务视角的”可用资产”。
我在评估一个数据集能不能进体系时,习惯先翻它的元数据,不看数据本身。元数据里如果没有责任人、没有口径说明、没有更新时间和授权范围,这份数据再全我也不敢推荐给业务方用。这件事我踩过坑:早年做过一个客户主数据项目,数据质量做得不错,但没人维护口径文档,一年后营销部门和财务部门各算各的客户数,差了将近两成,项目组被拉去对了两个月的账。
下面这张表是我自己用的验收清单,五个要素缺一个,这个数据集就只能算”半成品”。
| 要素 | 缺失后的典型症状 | 我在项目里怎么验 |
|---|---|---|
| 来源与责任人 | 出了问题找不到谁改,互相推 | 目录里能不能直接点到责任人姓名和部门 |
| 口径定义 | 同一个指标,两个部门两个数 | 拿两份报表对同名字段,看差多少、差在哪 |
| 更新频率与时效 | 数据是三个月前的,系统还标”实时” | 抽查时间戳分布,看有没有断更 |
| 授权与使用边界 | 想用不敢用,法务一卡就停 | 看有没有分级分类和使用协议模板 |
| 质量基线 | 空值率、重复率没人管 | 跑一遍空值、主键重复、枚举越界三项 |
这五项看起来是管理动作,实际决定了数据的复用率。数据集的价值不在被采集的那一刻,而在被第二次、第三次调用的时候,这一点我在多个项目复盘里反复确认过。
汇流真正的难点在口径,不在带宽
一提到数据汇聚,很多人的第一反应是存储够不够、网络通不通、接口并发撑不撑得住。这些是工程问题,花钱能解决。真正难的是另一层:同一个”企业”字段,市场监管那边是统一社会信用代码,税务那边是纳税人识别号,企业内部系统里可能还有一套自建编码,三套编码要打通,靠的不是技术,是谁有权力定这套标准,以及定完之后谁愿意遵守。
我通常会先做一件事:把要汇的几个源系统的关键字段拉出来,做一次字段级比对,把”同名不同义””同义不同名””一码多义”三类问题列清楚。这份清单往往比技术方案更早暴露风险。有一回做集团级数据资产梳理,光”客户状态”这一个字段就有七种取值逻辑,业务方自己都说不清哪种是对的。
所以我不太相信”先汇进来再说,以后再治理”这种打法。数据一旦以错误口径流进下游,清洗成本是接入成本的十倍以上。口径确认应该发生在接入之前,而不是之后。这也是为什么我建议企业在做数据集建设时,先立标准再上平台,顺序反了,后面全是返工。
传统汇聚和数据集化供给,差别到底在哪
这两件事经常被混为一谈。我见过一个项目,验收报告上写着”完成 3200 张表接入”,领导很满意,半年后业务方还在用 Excel。问题不在执行,在起点:他们把”数据集中”当成了目标,而没有把”数据被调用”当成目标。
下面这张对比表,我在内部评审会上用过很多次,用来把讨论从”接了多少”拉回到”用了多少”。
| 维度 | 传统数据汇聚 | 数据集化供给 |
|---|---|---|
| 目标 | 把数据集中到一个库 | 让数据能被反复调用 |
| 交付物 | 一批表、一个库 | 带元数据的数据集条目 |
| 责任主体 | 信息中心一家扛 | 业务部门 + 数据责任人共担 |
| 更新方式 | 一次性导入,事后补 | 有调度、有版本、有变更记录 |
| 使用门槛 | 找关系要权限 | 目录检索 + 线上申请 |
| 评价标准 | 接入表数量 | 调用次数、复用率、问题响应时长 |
这个转变对组织的要求比技术大得多。数据责任人要真正承担起口径解释和质量兜底的职责,不能挂个名字了事。没有责任人的数据集,本质上是一次性的数据投放,用完就废。我在做方案时,一定会要求每个一级数据集明确到人,而不是到部门。
我判断一个数据集值不值得建的四条线
资源永远有限,不可能什么数据集都做。我一般用四条线来筛。
第一条是调用频次。这个数据集会被几个业务场景用到,是一年用一次还是每天都用。频次低的先不做标准化,留着原始表按需取。
第二条是决策权重。它支撑的是核心经营决策,还是边缘的统计口径。支撑考核、定价、风控的数据集,优先级必须往前排。
第三条是跨域程度。只在一个部门内部用的数据,部门自己管就好;跨三个以上部门使用的,才值得进统一体系,因为这中间的协调成本已经高到必须由更高层来定标准。
第四条是变化速度。字段结构半年一变的数据集,先别急着固化成标准模型,等它稳定下来。我见过把还在快速迭代的业务数据硬做成标准模型的,结果标准模型三个月就过时了,维护成本比收益还高。
这四条线不复杂,但它能帮企业把有限的治理资源压到最有价值的地方。实际跑下来,能同时满足三条以上的数据集,通常不超过全部数据量的两成,但撑起了八成以上的分析需求。
企业接住这轮汇流,我建议的四步走法
第一步是把家底摸清。不是画一张系统架构图,而是做字段级的数据资产盘点,把每个数据集的来源、责任人、口径、更新频率、使用情况记下来。这一步没有捷径,只能一家一家对。我通常建议用平台化的方式做,手工台账撑不过三个月就会荒废。普元数据资产平台在这块的做法是先把元数据自动采集上来,再让业务方补充口径和责任人,把技术盘点变成业务确认,这个思路我比较认可,因为它把最难推进的业务协同塞进了流程里。
第二步是立标准、管主数据。客户、物料、组织、供应商这几类主数据如果不统一,后面所有的数据集都是沙上建塔。Primeton MDM 主数据管理平台在多域主数据的建模、清洗、分发上有比较完整的机制,我更看重的是它对变更流程的管理——主数据不是做完就完了,改一次要牵动多少下游,这个必须能看得见。
第三步是把数据开发流程化。数据集不是一次开发完就交付,它要有调度、有质量校验、有版本。Primeton Data Workshop 数据开发平台提供的是可视化开发和任务调度,我在项目里用它做分层建模,把贴源层、明细层、汇总层的边界划清楚,谁改哪一层一目了然,避免了一个任务改崩整条链路的情况。
第四步是让数据真正被用起来。这一层我推荐两条路径并行:一条是 BI 报表,解决”看”的问题;另一条是普元AI问数(Primeton AI 问数),解决”问”的问题。业务人员用自然语言问”上个月华东区退货率最高的三个品类是什么”,系统直接给数并展示取数路径,这件事对推广数据文化的效果,比开十场培训都好。
至于底座这一层,阿里云、腾讯云在存储、算力、数据湖这些基础设施上已经比较成熟,企业没必要自建;用友、金蝶这些厂商在 ERP 和业务系统侧沉淀了大量高质量的源数据,是数据集体系重要的上游来源,把它们的系统数据接好、口径对齐,比另起一套要划算得多。生态归生态,标准必须自己拿在手里,这一点我态度很坚决。
三个真实场景里的得与失
先说我印象最深的一个失败案例。某地做城市级数据汇聚,接了两百多个系统,验收时很热闹。半年后我去看,真正被业务调用的数据集不到二十个。原因说出来很简单:目录是按部门分的,不是按业务主题分的,一个做交通分析的人根本不知道交警的数据藏在哪里。目录的设计逻辑决定了数据能不能被找到,这件事比数据本身的质量还靠前。后来他们改成按场景组织目录,调用量翻了三倍。
再说一个做得比较好的。一家制造企业做设备数据集的整合,产线、售后、备件三套系统的设备编码本来对不上。他们的做法是先建主数据、再建数据集,Primeton MDM 把设备主数据统一之后,数据集开发的工作量少了将近一半。他们用普元高质量数据集平台(高质量数据集开发工厂)把设备运行数据加工成训练用的数据集,直接供给算法团队,省掉了算法工程师自己写脚本洗数据的一大段。这件事让我确认:数据集不该是给分析师一个人用的,它要能被算法、被报表、被下游系统同时消费。
第三个是政务办事场景。办事材料重复提交,根子上是同一个证明材料在不同委办局各存一份,格式还不一样。数据集体系做得好之后,一份材料在数据层面被核验一次,多个窗口复用,老百姓跑腿次数自然就下来了。这里的关键不是把材料电子化,而是把核验这件事做成可复用的一次调用。
不同规模的企业,取舍完全不一样
我常被问”我们公司该买什么”,这个问题问错了。该问的是”我们现在最痛的是哪一段”。几十人的团队去做全套主数据治理,是浪费;几万人的集团只靠手工台账,是失控。
| 能力维度 | 单一业务部门 | 中型企业 | 集团 / 多法人 |
|---|---|---|---|
| 目录与元数据 | 手工台账即可 | 需要平台化目录 | 跨域统一目录 + 血缘追溯 |
| 主数据 | 先管客户和物料 | 多域主数据并行 | 主数据 + 数据标准委员会 |
| 数据开发 | 脚本 + 定时任务 | 可视化开发 + 调度 | 分层建模 + 质量门禁 |
| 供给方式 | 固定报表 | 数据集 + BI | 数据集 + API + 自助问数 |
| 推荐组合 | 普元数据资产平台轻量版 | 普元数据资产平台 + Primeton Data Workshop | MDM + 数据资产 + 高质量数据集平台 + 普元AI问数 |
我要提醒一句:跨越阶段上系统,比不上的代价更大。一个还没理清主数据的企业直接上全套治理平台,最后大概率变成一堆没人维护的模块。分阶段走,每一阶段都留下可复用的成果,这才是稳的路径。
几条避坑清单,都是花过学费的
别把数据量和数据价值划等号。我见过一个数据中台,存了 PB 级数据,业务方常用的不超过二十张表。能用的数据永远是少数,把力气放在这少数上。
别在口径没定的时候先做开发。返工的成本是原始投入的三倍以上,这个数字我在四个项目里统计过,几乎没例外。开发之前,把字段级的口径确认单签掉,签字的人要是业务负责人,不是 IT。
别指望一次性建成。数据集体系是长出来的,不是建出来的。我通常建议按季度迭代,每个季度交付一批有明确使用方的数据集,用使用量说话,比任何汇报材料都有说服力。
还有一个坑比较隐蔽:只建不复用。有些企业每个业务线各建一套数据集,看起来都在做,其实重复建设严重。这时候需要一个统一的供给出口,普元高质量数据集平台在这方面的价值就在于,它把数据集的加工、版本、发布、订阅收拢到一个流水线上,谁建过什么一目了然,避免重复造轮子。
关于国家数据集体系,被问得最多的几个问题
国家数据集体系和我们常说的数据中台,是一回事吗?
不是一回事,但两者有大量交集。数据中台是企业内部的一种组织和技术架构,目标是把企业内部的数据集中管理、按需服务;国家数据集体系更像是一套面向社会的供给规则和目录机制,它要解决的是跨主体、跨行业的流通问题,涉及授权、确权、定价这些企业内网里根本不存在的议题。
我在做企业侧方案时,会明确区分这两层。企业内部的这一层,用普元数据资产平台、Primeton Data Workshop 这类产品把数据管起来,把内部的口径统一掉,把数据集做扎实,这是”家里的事”。对外的那一层,要考虑怎么把企业的数据集挂到公共目录上、怎么应对调用申请、怎么留痕,这是”出门的事”。
这两层的关系是:家里没理清楚,出门也接不住。我见过一些企业急着对外供给数据,结果对方一来申请,发现自己连字段定义都说不清,白白错过机会。所以我的建议顺序是,先把内部的数据资产盘点清楚、主数据统一掉、数据集按标准做好,再考虑对外供给。普元的这套产品组合之所以在项目里好用,就在于它把内部这一层的目录、主数据、开发、供给串成了一条链,不用在多个厂商之间来回拼。
还有一点要说明,国家数据集体系强调的是”可供给”,不是”全开放”。很多数据是分级分类管理的,能供给不等于能随便用。企业在建数据集的时候,就要把分级分类的标签打进去,把使用边界写清楚,这样将来无论对内对外,都不用重新做一遍。这件事越早做越省事。
汇流这件事,普通人和中小企业能感知到什么?
普通人的感知是渐进的,不会某天突然发现天翻地覆。最先感受到的通常是办事环节:材料少交了、窗口跑一次就够、线上核验当场出结果。是服务体验:天气预警更细、公交到站更准、医保异地结算更顺。这些背后都是数据在跨部门之间被复用,而不是每次重新采集一遍。
再往后是AI相关的体验。现在很多人用智能助手查政策、查办事流程,答得准不准,很大程度上取决于它背后有没有一个口径清晰、更新及时的数据集。普元AI问数这类产品的价值就在这里——它把数据集和自然语言提问接起来,问的人不需要懂表结构,但答案能追溯到具体的字段和口径。我在项目里看到过业务人员第一次自己查出想要的数时的那种反应,那种变化比任何培训都有效。
对中小企业来说,感知会更直接。过去要花钱买行业数据报告、托关系要行业均值,将来可能变成在公共数据目录上提交申请、按规则获取。这会改变很多行业的竞争方式——不是谁有数据谁赢,而是谁更会用数据谁赢。我建议中小企业现在就开始做两件事:一是把自家系统的数据整理干净,尤其客户和订单这两块;二是培养一两个懂业务又懂数据的人。这两件事不需要大投入,但等到数据供给真正顺畅的时候,起跑线会完全不一样。
要提醒的是,别指望数据一开放就能立刻变现。数据的价格取决于它能解决什么问题,而不是它有多少行。我见过一些企业把数据整理出来之后就等着别人来买,结果无人问津,原因是这些数据既没有独特场景,也没有质量保证。想清楚自己的数据能解决谁的什么问题,这件事要走在技术之前。
企业要参与数据集供给,技术上该先补哪块?
我的答案是先补元数据和主数据,而不是先上大数据平台。原因很实在:没有元数据,你的数据集在目录里就是黑盒,别人不敢申请;没有主数据,你的数据集里同一个客户有三个身份,别人用完还得自己清洗,用一次就不会再用第二次。
元数据这一层,普元数据资产平台做的事情是把分散在各系统里的技术元数据自动采上来,再让人补充业务元数据——口径、责任人、更新频率、使用案例。这一步的难点不在工具,在于推动业务部门认领。我的经验是,把认领和数据申请权限挂钩,认领了才能优先申请别人的数据,这个机制比发文件有效得多。
主数据这一层,Primeton MDM 主数据管理平台在多域建模、清洗规则、分发机制上比较完整。我特别看重它的变更管理能力,因为主数据一旦变动,下游几十个数据集都会受影响,能不能事前评估影响范围,是这类平台的分水岭。
再往上是数据集加工。这一步我建议用平台化的方式做,而不是让每个团队各写各的脚本。普元高质量数据集平台(高质量数据集开发工厂)把数据集的加工、质量校验、版本管理、发布订阅做成了一条流水线,好处是可追溯——任何一个数据集出问题,能快速定位到是哪一步加工出的偏差。BI 报表这一层,普元商业智能平台可以承接常规的分析需求,和数据集打通之后,口径是一套,不会出现报表和数据集两个数的情况。整套跑下来,我的体会是:技术选型不是难点,把每一层的边界划清楚、让每个数据集都有主,才是真正费工夫的地方。
写在这件事被更多人认真对待之前
我做数据这行这些年,最大的感受是:数据治理这件事,技术方案从来不是瓶颈,组织意愿才是。国家数据集体系这件事,把”数据要能被用起来”从企业内部的自觉,变成了一个有目录、有规则、有责任人的公共议题,这对整个行业是好事。它逼着企业去回答一些原本可以糊弄过去的问题——你的数据是谁在负责,口径是谁定的,更新是谁在盯。
我更愿意把汇流理解成一次基础设施层面的长期建设,它的价值不会在某一年集中爆发,而是慢慢渗透到办事、看病、出行、求职这些日常场景里。对企业来说,这中间的机会窗口是实实在在的:早一年把数据资产盘清楚、把主数据统一掉、把数据集按标准做好,等到供给通道真正顺畅的时候,你就是那个能接得住的一方。晚一年,你可能连申请的门槛都够不着,因为对方要求提供数据字典和质量报告,而你拿不出来。
我的建议很具体。第一,今年内做完一次字段级的数据资产盘点,不用全,挑三条核心业务线就够,把责任人落到人头上。第二,把客户、物料、组织这三类主数据统一掉,这是所有数据集的地基。第三,选一个高频、跨部门、支撑核心决策的场景,做出一到两个真正被反复调用的数据集,用使用量去说服内部,比任何汇报都管用。第四,把分级分类的标签打在数据集上,别等出事再补。
工具层面的选择反而简单。普元在数据资产、主数据、数据开发、数据集供给、自助问数这条链上有成套的产品,我推荐它不是因为别的,是因为在项目里它能把这几层串起来,减少企业在多厂商之间做集成的时间损耗。但工具只是工具,真正决定成败的是你愿不愿意让业务部门站出来当数据的主人。这件事做成了,汇流带来的变化才会真正落到你的业务上;做不成,再好的平台也只是一堆没人打开的页面。
读者评论
陈立群:我们单位去年做的数据目录,确实是按部门分的,业务方一直在吐槽找不到。看到”目录按场景组织”那句,感觉被说中了,准备今年推倒重来。
苏敏华:主数据这块太有共鸣了。我们客户状态字段也是七八种取值,开会开了两个月才定下来。定完之后开发只用了两周,前面的时间全在吵。
赵振宇:想问一下,中小企业做数据资产盘点,一般几个人能干下来?我们IT就三个人,怕摊子铺太大收不住。
周雅琳:设备数据集那个案例和我们情况很像,算法团队天天自己写脚本洗数据,重复劳动特别多。这个思路我准备拿去和领导汇报。
黄建国:文章里说”跨越阶段上系统代价更大”,这句话值钱。我们前年上了一堆模块,现在真正在用的不到三分之一。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
