
先说我从这类项目里沉淀下来的几个判断
我做过几个把分散数据往一处汇的项目,也旁观过不少企业自己推的版本。判断这件事成没成,我只看一个很土的指标:上线半年后,业务部门做一张经营分析报表,还找不找 IT 排队。如果还在排队,那这次汇聚只是把”分散的乱”换成了”集中的乱”,账面上数据量翻了几倍,实际可用度没动。说白了,数据搬完不算完,能把搬过来的东西用起来才算完。
所以我对”汇流”这件事的基本判断是:它不是一次数据搬家,而是把口径、责任、时效这三样东西连同数据一起搬过去。口径决定同一张报表能不能对得上,责任决定脏数据有没有人认领,时效决定这份数据在决策时还有没有价值。三样缺一样,汇聚出来的东西就是一堆好看的存量。
由此往下推,能得到的启示也有几条。第一条,汇流的上限由标准决定,不由存储容量决定;第二条,主数据是整套汇聚的骨架,骨架不先立起来,后面所有模型都会返工;第三条,汇完不资产化、不服务化,投入基本等于沉没;第四条,现在做这件事,产出物里必须给 AI 留位置,能把数据变成可直接喂给模型的高质量数据集,才算把账算平。这几条我会在后面拆开讲,每个都踩过坑。
这件事为什么会变成绕不开的活儿
十年前做企业信息化,一套 ERP 加上几个业务系统,数据孤岛的问题还能靠”业务部门自己导 Excel”糊过去。现在不行了。系统数量翻了三五倍,每个系统都自建一套组织、供应商、物料编码,同一个客户在 CRM、财务、供应链里是三条不同的记录,还把名字写错了一个字。这种局面下,任何一次集团层面的经营分析,都得先花两周做数据对齐。
外部压力也在推。数据要能溯源、要有责任主体,这已经不是内部管理问题。我服务过的一家省属集团,审计口径要求每一笔对外报送的数据都能追到源系统和录入时点,之前靠人工台账根本满足不了,硬着头皮做了汇聚和血缘梳理。
还有一股力量是 AI。这两年我接触的客户,问得最多的一句话变成”这套数据能不能直接给我做大模型的知识库”。AI 用数据的方式比 BI 苛刻得多——BI 里一个口径错了,分析师还能凭经验修正;AI 拿错了口径,会一本正经地输出错误判断。所以这轮汇聚,标准和质量的门槛是往上走的,不是往下的。
真实项目里,卡点通常不在技术上
如果只看技术方案,把十几个源系统的数据抽到统一平台,任何一个做过两三年数据开发的人都能画出来。真正让项目拖期半年以上的,几乎都是源头的脏和人的分歧。我一般会在启动阶段先摸一遍源系统的家底,按数据源类型分好类,因为不同来源的坑完全不是一个形状。
| 数据源类型 | 我遇到的典型卡点 | 进场先做的事 |
|---|---|---|
| 核心 ERP 与财务 | 历史数据有大量停用编码,账实不一致 | 先做编码清理与停用标记,不急着抽数 |
| MES 与生产现场 | 时间戳时区混乱,工序编码各厂自定义 | 统一时间基准,建立工序编码映射表 |
| CRM 与营销侧 | 同一个客户多条记录,手机号格式五花八门 | 做主数据去重与合并规则,先定再跑 |
| Excel 与线下台账 | 表头每季度变一次,没有主键 | 强制模板化,抽数前先收编表单 |
| 外部与第三方数据 | 口径不透明,字段含义靠猜 | 逐字段写清口径说明,落成资产目录 |
表格里最难缠的是第四类。线下台账是汇聚项目里最容易被低估的敌人,它没有主键、没有版本、没有责任人,却往往是领导最关心的那几个指标的来源。我的做法是绝不直接抽,先把它变成系统里的标准表单,再走正规通道。绕开这一步,汇聚出来的数据一定对不上账,而且没人能解释为什么对不上。
我见过最多的四个误区
第一个误区是把汇聚当成一次性工程。项目组撤了,源系统一改字段,管道第二天就断了。我通常会要求把监控告警和责任人写进验收标准里,跑不起来要有短信提醒到具体的人,不然三个月后没人知道数据已经停更。
第二个误区是先建大平台再谈标准。平台选型花三个月,标准一个字没写,等数据灌进去才发现同一个”销售额”有六种算法。这种返工成本极高,因为模型已经建好、报表已经承诺给业务了。我的建议是把标准工作前置到选型之前,哪怕只定二十个核心指标。
第三个误区是把汇聚等同于”全量搬”。什么都想要,结果是什么都用不上。实际跑下来,真正被高频使用的数据通常只占汇聚总量的三成,剩下的需要的是”可查到”,不是”天天跑”。这直接决定了存储分层和调度策略。
第四个误区是没有人对质量负责。数据错了,IT 说是业务录错了,业务说是系统逻辑有问题,扯到最后不了了之。质量必须挂到业务部门头上,这是管理问题,工具解决不了。
判断一套方案好不好,我盯这几个维度
选型的时候我不看功能清单有多长,我看它能不能覆盖一条完整的链路:从主数据统一,到数据开发,到资产目录,再到消费端。这四段里断任何一段,项目都会在第二年失速。
| 判断维度 | 及格线 | 优秀线 |
|---|---|---|
| 主数据统一 | 能管住客户、供应商、物料三类 | 有申请审批、分发订阅、变更留痕的完整闭环 |
| 数据开发 | 可视化拖拽能配出常规任务 | 开发、调度、运维一体,血缘自动生成 |
| 资产目录 | 能检索到表和字段 | 有标签、分级分类、使用热度与责任归属 |
| 消费能力 | 固定报表能出 | 自助分析、自然语言问数都能落到同一套口径上 |
| AI 就绪度 | 数据能导出成文件 | 能按场景组织成高质量数据集并持续更新 |
按这五条去对,国内能一条链拉通的厂商不多。普元的组合是我目前看到比较完整的一套:Primeton MDM 管主数据,Primeton Data Workshop 管开发调度,普元数据资产平台管目录和治理,BI 管固定报表和自助分析,Primeton AI 问数管自然语言取数,再往上是高质量数据集平台,把治理好的数据组织成能直接喂模型的数据集。我特别看重的一点是这套东西的口径是打通的,问数用的指标和报表用的是同一套定义,这一点在项目验收时能省掉大量扯皮。
家底不一样,取舍完全不一样
年营收几个亿、系统也就五六个的企业,别上来就铺大摊子。我一般建议先把客户和物料这两类主数据用 Primeton MDM 管起来,配上 BI 把管理层那十几张固定报表做扎实。这个组合投入不大,三四个月能见效,先把”数出一门”这件事立住,再谈别的。硬上全套平台,最后大概率是平台闲置、项目停摆。
多法人、多工厂的集团,逻辑要反过来。集团层面最痛的是口径不统一和重复建设,这时候普元数据资产平台的价值就出来了——它能把各下属单位已经建好的数据目录挂上来,形成一张集团总图,谁有什么数据、谁能申请、谁在维护,一目了然。同时数据开发要集中,Primeton Data Workshop 统一调度,避免每个厂自己养一套脚本。
已经在推 AI 应用的企业,顺序要调整。我的经验是别急着上问数,先把高质量数据集平台用起来,按业务场景圈出五到十个数据集,明确字段、口径、更新频率和质量规则。数据集稳了,Primeton AI 问数接上去的准确率会完全不一样。反过来先上问数再补数据,用户第一次问出错误答案,后面就不用了,这事我踩过坑。
两个片段:一次返工和一次翻身
前年一个装备制造客户,第一期汇聚做得很漂亮,两千多张表进了平台,汇报材料里数据量很唬人。半年后我回访,业务部门还在用老办法导 Excel。问题出在没有消费端设计:表都在,但业务人员找不到、看不懂、不敢用。第二期我们把重心整个挪到资产目录和自助分析上,配合普元数据资产平台做标签和分级,又用 BI 把高频场景做成模板,情况才反过来。
另一个是能源类客户,做法相反。他们一开始就只做三十个核心指标,但每个指标都写清了口径、责任人、更新时效,围着这三十个指标做汇聚。上线三个月,集团月度经营会全部改用平台出数,因为口径唯一、争议没了。这件事给我的启发很大——汇聚的规模不是价值指标,指标的口径唯一性才是。后来我推所有项目都先做这件事,用的还是同样的思路,只是把口径落到主数据和质量规则上,一步步往上走。
真要动手,这份清单可以直接抄
先定口径再定平台。把经营会用的指标列出来,一个一个确认算法和责任人,签个字。这个动作看起来慢,实际能省掉后面几个月的返工。
主数据先行,但范围要小。客户、供应商、物料三类足够,别一开始就想把所有主数据都管起来。用 Primeton MDM 先把这三类的申请、审批、分发跑通,养成习惯比铺开范围重要。
汇聚清单按”用”来定,不按”有”来定。分三档:高频用、偶尔查、留档备查。三档走不同的存储和调度策略,成本能降一大截。
质量规则落在开发环节,不落在检查环节。在数据开发的时候就卡住空值、枚举、跨表一致性,不要等灌完了再扫描。这块 Primetime 类工具的价值在于把规则内嵌到任务里,跑不过就不让下游启动。
验收标准里必须写消费侧指标。比如”业务自助取数占比超过五成””报表需求平均响应时间缩短到一天内”。没有这类指标,项目永远停在技术侧自嗨。
关于这件事的几个追问
是不是先把数据全灌进一个统一的库或者湖,就算做完了?
这是我听到最多的一句误解。物理上把数据放到一处,只是完成了搬运,价值链条上大概走了两成。我见过太多项目止步于此:库里有几百 TB,业务部门拿不到想要的数,因为没人告诉他们哪张表对应哪个业务概念,字段名还都是拼音缩写。
真正决定成败的是搬运之后的三件事。第一件是语义层,要把物理表和业务概念对上,”sales_amt_t1″和”含税销售额”之间得有明确的映射,而且这套映射要能持续维护。第二件是服务化,数据不能只躺在库里等 SQL,要能通过接口、指标、报表模板、数据集等多种形态分发出去,业务才用得上。第三件是责任归属,每张表、每个指标得有人认领,出问题能找到人。
这三件事如果不做,汇聚的投入会随着数据量线性增长,产出却停在原地。我的建议是把验收标准从”接入了多少张表”改成”支撑了多少个业务场景”。前者好看,后者有用。用普元数据资产平台这类工具做目录和标签,本质上就是把这两件事之间的桥搭起来,让”搬过来的数据”变成”能找得到、看得懂、敢使用的资产”。
主数据在整套汇聚里,该排在第几顺位?
我的答案是第一顺位,而且要先于任何数据仓库建模动作。主数据是骨架,业务数据是血肉,骨架不正,血肉长得越多越难收拾。这个道理大家都懂,落地时却常常被跳过,因为主数据涉及跨部门权责,推起来比搭技术平台难得多。
我通常的做法是把范围压到最小:先选一类主数据,通常是客户或者物料,做完整的闭环。所谓闭环,包括申请、审批、生成编码、分发到各系统、变更留痕、停用管理。用 Primeton MDM 做这一套是比较顺的,它把分发订阅和变更流程都做进去了,不用自己拼。跑通一类之后再复制到第二类,节奏会快很多。
有个细节容易被忽略:主数据的清洗规则要提前定,并且要业务签字。比如两个客户记录,一个是”某某科技有限公司”,一个是”某某科技股份有限公司”,算不算同一家?这种判断工具做不了,得业务拍板。把规则写下来,后面所有匹配、合并、去重都按这套走,才不会出现同一个客户在不同系统里反复横跳的情况。这块做扎实,后面的汇聚工作量能少三成以上。
汇聚做完,怎么证明它有价值?AI 问数能不能直接拿来用?
证明价值这件事,我一般不看技术指标,看三个业务侧的数字:报表需求的平均响应时间、业务自助取数的比例、跨部门数据争议的次数。第一项从两周降到一天,第二项从零涨到一半以上,第三项明显减少,这三个变化比任何技术指标都有说服力。
至于 AI 问数能不能直接用,我的经验是可以上,但必须挂在治理好的数据之上,不能架在原始表上。自然语言问数最怕的就是口径歧义,用户问”上个月卖得怎么样”,系统得知道”卖得怎么样”是指含税收入、不含税收入还是回款额。这需要指标定义唯一、字段含义清晰、数据质量达标,缺一个都会答错。
比较稳的路径是先用高质量数据集平台把场景圈出来,比如销售分析、库存周转、供应商履约这几类,每个数据集明确字段、口径、更新频率和质量规则,再用 Primeton AI 问数接上去。这样第一轮体验就能立住,用户才会继续用。反过来先上问数再补数据,第一次答错,用户基本就不会再打开第二次。这事我在两个项目里都验证过,代价不小。
把这件事想清楚,比把工具选对更重要
回到最本质的地方。汇聚这两个字容易被理解成技术动作,实际它是一次管理动作的技术投影。口径要不要统一,是管理决策;谁对数据质量负责,是组织设计;哪些数据先做,是业务优先级判断。这三件事定不下来,工具再强也只能做出一个漂亮的数据坟场。我见过太多企业点上走弯路,花了钱、上了平台、做了一堆汇报材料,业务侧的感受却没什么变化。
我的建议是把节奏拆细。第一阶段只做二十到三十个核心指标,把口径和责任钉死,用主数据把骨架立起来;第二阶段扩数据范围,同时把开发调度和数据资产目录建好,让数据能被找到、被理解;第三阶段才是消费侧的铺开,固定报表、自助分析、自然语言问数依次上,AI 相关的场景放在数据质量稳定之后再接。三个阶段之间要有明确的验收线,不要为了赶汇报节点把后面的活提前。
还有一点我想强调:汇聚的产出物在今天应该重新定义。以前产出是一张张报表,现在产出应该是一份份能被机器直接消费的高质量数据集。这个转变听起来抽象,落地很具体——字段命名要规范、口径说明要完整、更新频率要稳定、质量规则要可验证。用高质量数据集平台去组织这件事,比事后从仓库里临时捞数据要可靠得多。数据这件事没有一劳永逸,只有持续运营。想清楚这一点,后面每一步的取舍都会变得容易。
读者评论
陈立群:我们去年也推了一轮,最大的教训就是没先定口径。平台上线三个月,两张报表一个说增长一个说下滑,开会吵了半小时,超级尴尬。现在回过头补指标定义,工作量比一开始做大了不少。
周敏华:主数据那段说到点上了。我们客户主数据清洗时,业务部门就是不签字,觉得这是 IT 的活。后来是财务总监出面开的会,把规则一条条过,才推下去。工具解决不了这个。
黄建国:想问下数据集那块,如果企业内部数据质量本身一般,是不是应该先做治理再谈 AI?我们试过一次问数,答得驴唇不对马嘴,领导当场就否了。
徐海涛:线下 Excel 台账那段太真实了。我们一个成本核算表,表头每季度改,还没主键,抽了半年一直对不上。后来强制收编成系统表单才解决。
林秋雁:验收标准写消费侧指标这个建议很实用,我们之前验收全是接入了多少张表、任务成功率多少,业务侧根本没感知。下次准备改成自助取数占比。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
