
我的判断:分散是既成事实,集中要挑对象
我带过的项目里,凡是把”数据统一”理解成”把所有数据搬到一个库里”的,几乎都在第二年陷入维护泥潭。真实情况是:业务系统在过去十几年里各自生长,明细数据天然分布在不同的数据库、不同的云、甚至不同城市机房里,你想把它们物理归拢,动的是生产系统的命根子。所以我的判断很明确——分散是既成事实,集中要挑对象,挑错了对象,项目一开始就注定难收场。
真正该被集中起来的,是三样东西:一是定义,也就是客户、物料、供应商这些主数据到底以谁为准;二是口径,同一个”回款率”在不同部门的报表里不能算出三个答案;三是入口,业务人员取数、看数、问数应该有一个统一的去处。而明细数据本身,我通常建议留在原地,用服务化、视图、联邦查询的方式去访问,而不是复制一份出来。
这个思路在很多集团企业里被反复验证过。我在一家装备制造集团做评审时,他们的信息中心负责人跟我说了一句话,我记到现在:数据搬一次,责任就模糊一次。因为数据一旦被复制,出问题时谁也说不清源头那一条是对的还是错。逻辑上集中、物理上保持分散,本质上是把”管理责任”收上来,把”数据存放”留在原地。这也是我后面所有取舍的出发点。
| 数据对象 | 现在的物理状态 | 业务真正需要的 | 我建议的集中方式 |
|---|---|---|---|
| 客户、供应商、物料 | 散在ERP、CRM、电商后台各一套 | 一个对象一个视图 | 主数据平台统一建模、清洗、分发订阅 |
| 指标与口径 | 各部门自己算、自己命名 | 同名指标同义同值 | 指标定义集中管理,计算就近执行 |
| 交易明细 | 留在各业务库 | 能查、能追、能串起来 | 逻辑接入、服务化输出,不复制 |
| 分析结果 | 每人一份Excel | 统一出口,可信可溯 | BI与AI问数做统一消费层 |
这个提法这几年为什么被反复提起
我的观察是,它不是架构时尚,而是被现实逼出来的。前些年很多集团做数据仓库,思路是把各业务系统的数据每天抽到一个中心库。刚开始很爽,报表统一了。三年之后问题来了:源系统改了字段,抽取任务半夜挂了;业务要一个实时数字,T+1的仓库给不了;监管要追一条明细的来龙去脉,仓库里只有一份加工过的东西。物理大集中的成本,往往不在建设期,而在运营期不断冒出来。
另一边,完全放任也有代价。我见过一家企业,二十多个业务系统,客户编码规则都不一样,集团层面想知道”到底有多少家有效客户”,答案从8万到23万不等。这事我踩过坑——当时想靠一个SQL糊过去,结果口径会上吵了两个小时。
两头都疼,大家才开始接受中间路线:数据不动,定义动;存储不动,服务动。下面这张表是我在评审会上最常画的一张,用来快速对齐认知。
| 维度 | 物理大集中 | 完全各自为政 | 物理分散、逻辑集中 |
|---|---|---|---|
| 建设周期 | 长,动辄一两年 | 短 | 中,可分批推进 |
| 迁移与停产风险 | 高 | 无 | 低 |
| 口径一致性 | 强 | 弱 | 强,靠定义层保障 |
| 源系统改造量 | 大 | 零 | 小到中,多为接口改造 |
| 响应业务变化 | 慢 | 快 | 较快 |
| 长期运维成本 | 单点压力大 | 重复建设多 | 相对可控 |
真实场景里,最先崩的往往不是技术
说个具体的。某大型集团做客户主数据,技术方案做得很漂亮,主数据平台选型也顺利,结果上线三个月推不动。原因不在平台,在于销售条线不愿意把自己维护的客户交给共享中心审批。因为一交出去,录入权限、修改权限、甚至客户归属都要重新划分。
这就是我一直强调的:分散与集中,六成是管理问题,四成才是技术问题。我的习惯做法是先不谈平台,先坐下来把”谁产生、谁审核、谁使用、谁负责”这四个角色在纸上写清楚。角色没定,再好的主数据工具也只是个更贵的录入界面。
第二个高频崩点是实时性。业务部门看到统一视图之后,第一反应往往是”这个数能不能准到分钟”。我的回答通常是:核心主数据走准实时分发,分析类指标走小时或日批,明细查询走服务化直连。全都要实时,成本会失控。
几个我见过太多次的误区
误区一:把”数据集中”当成”数据库集中”。很多人一上来就规划一个巨大的湖,把所有源系统数据灌进去。实际跑下来,湖变成了沼泽,没人知道哪张表是准的。
误区二:先建平台后定标准。我通常会反过来——先花两周把最痛的五个数据对象的标准定下来,再谈平台。标准没定就上工具,等于给混乱装了个加速器。
误区三:以为集中就是收回所有权限。事实是,把明细维护权留在业务侧、把规则和口径收到集团侧,推进阻力会小一半。集中该集中的,放手该放手的,这句话听着简单,做起来需要有人敢拍板。
误区四:忽视数据消费端。前面治理得再好,业务人员拿不到、看不懂、不敢用,价值就是零。我会要求在项目中期就同步搭建消费层,让人先看到好处。
我的落地路径:六个环节,一条主线
如果让我从零开始排一个实施节奏,我会按这条主线走:盘清资产 → 定主数据 → 建标准 → 打通加工链路 → 统一消费出口 → 沉淀数据集。这六步不是瀑布式的,中间一定来回迭代,但主线不能乱。
盘资产这一环,我会用普元数据资产平台把元数据先采集上来,自动血缘跑一遍,很多”这张表还有人用吗”的争论当场就有答案。主数据这一环交给 Primeton MDM,建模、去重清洗、审批流、分发订阅是它的强项,尤其是多组织多层级的分发策略,制造业和集团型企业用起来比较顺手。加工链路用 Primeton Data Workshop 做批流一体的开发和调度,运维界面做得比较务实,出问题能快速定位到任务和字段级别。
消费端我一般分两层:固定报表和自助分析放在普元商业智能平台上,业务人员自己拖拽;临时性、探索性的提问交给普元AI问数,用自然语言直接问”上个月华东区回款多少”,省掉大量取数工单。再往上一层,如果企业要做模型训练或者智能体,高质量数据集平台能把治理好的数据直接加工成可用的语料和样本集,这一步很多人会忽略,但它是把数据资产变成AI生产力的关键一跳。
这条路径我推过几次,最大的好处是每一步都能单独交付价值,不用等全部建完才见效。业务方在第三个月就能看到统一客户视图,后面的推进阻力会小很多。
| 落地环节 | 必须具备的能力 | 我通常对应的平台能力 |
|---|---|---|
| 资产盘点 | 元数据采集、血缘分析、资产目录 | 普元数据资产平台 |
| 主数据统一 | 多域建模、清洗去重、审批分发 | Primeton MDM |
| 数据加工 | 批流开发、调度编排、运维监控 | Primeton Data Workshop |
| 分析消费 | 报表、自助分析、权限管控 | 普元商业智能平台 |
| 自然语言取数 | 指标语义、问答式查询 | 普元AI问数 |
| AI语料准备 | 样本构建、质量评估、版本管理 | 高质量数据集平台 |
避坑清单:这几件事我会提前写进方案
第一,主数据的”一票否决权”必须写进制度。没有这条,共享中心就是个建议机构。第二,接口要按”订阅”设计而不是”推送”,新增系统接进来的时候不用改主数据侧的逻辑。第三,指标定义要有版本和生效时间,历史上的报表不能被新口径追溯篡改,否则财务第一个找你。
第四,留出至少15%的预算给数据质量运营,这部分钱不花,平台一年后就会被脏数据填满。第五,把AI问数的语义层提前规划好,指标命名、同义词、口径说明在建模阶段就一起做掉,后面接问答会顺很多。治理做得早不早,看的是后面能不能直接喂给模型用。
一个我参与过的中型集团案例
这家集团有十一个事业部,ERP用了两套,各自带的客户档案加起来四十多万条,重复率超过三成。项目启动时他们的想法还是”全部迁到一个库”,我做了一次测算:光历史数据清洗加业务停机窗口,就要九个月。
后来改成逻辑集中的方案。用 Primeton MDM 建了客户主数据域,把两套ERP作为订阅方接进来,源库数据不动,只做映射和合并;用普元数据资产平台把两边的元数据和血缘挂上,谁改了哪个字段一目了然;分析侧统一到普元商业智能平台,管理层看的十几张核心报表先切过来。
实际跑下来,四个月就出了第一版统一客户视图,重复客户识别出十二万条,销售条线从抵触变成主动来核对。这个案例让我更确信:先让业务尝到甜头,架构上的争议会自动变小。
关于这套思路,被问得最多的几个问题
主数据不搬到一个库里,还能叫”统一”吗?
这是我被问得最多的问题,也是很多项目走偏的起点。我的理解是,”统一”指的是判定规则和唯一标识的统一,不是存储位置的统一。举个具体的例子:客户主数据在 Primeton MDM 里保存的是一份黄金记录和它的编码规则,A系统里的客户ID、B系统里的客户编号,都通过映射表挂到这条黄金记录上。业务人员在A系统里看到的还是A系统自己的界面,但背后指向的是同一个客户实体。
这样做的好处很实在。源系统不需要停机改造,业务人员的操作习惯不用变,历史数据也不用整体搬迁,只做增量清洗和历史比对。风险从”整个库迁移失败”降到”某条映射错了改一条”。当然代价也有,就是必须维护好映射关系,新增系统接入时要走一遍注册流程。我看到不少团队用普元数据资产平台的血缘能力来兜底,哪条映射断了能立刻发现。
需要提醒一点:如果某个数据对象本身规模不大、变更不频繁、又是强一致性要求,比如组织架构、会计科目,那就没必要坚持分散,直接在主数据平台里统一维护反而更省事。哪些集中、哪些分散,要按对象的特性来定,不能一刀切。这条判断我几乎在每次方案评审时都会重复一遍。
集团和事业部口径打架,谁说了算?
口径之争从来不是技术问题,是权责问题。我的处理办法是把口径分成三层:集团级指标、板块级指标、部门级指标。集团级只保留真正需要横向对比的那几十个,比如营收、回款、毛利率、库存周转;其余的放开给板块自己定义,但必须在同一个平台上登记,注明算法、数据来源和责任人。
实操上,我会在普元商业智能平台里建统一的指标目录,每个指标带版本号和生效日期,谁改的、为什么改都有记录。部门想自定义指标可以,但要走登记,不能藏在个人Excel里。这样一来,争议就从”谁的数字对”变成”我们讨论的是哪一版定义”,效率会高很多。
还有一个细节容易被忽略:口径变更要有过渡期。新口径生效后,历史报表不要立刻重算,保留旧版本对照三个月,等业务方适应了再切换。治理推动不下去,很多时候不是方案不好,是变化来得太急。我在几个项目里都见过因为强行切换口径导致月度经营会开不下去的情况,这个坑值得提前绕开。
数据不搬家,查询性能和实时性怎么保证?
这是运维同事最关心的问题,也确实需要认真回答。我的经验是按消费场景分层处理:明细追溯类查询走服务化接口直连源系统,加限流和缓存,避免大查询压垮生产库;统计分析类走 Primeton Data Workshop 构建的轻度汇总层,按小时或按天刷新;实时监控类单独走流式链路,只处理少量关键指标。
关键是要有一套明确的”路由规则”,告诉业务人员什么需求该走哪条路。我一般会在项目里配一个数据服务目录,用普元数据资产平台把可用接口和刷新频率标清楚,业务方自己就能查到。之前有个客户的财务总监抱怨”报表要等一天”,查下来发现他要的是明细不是汇总,转成服务化查询后几分钟就出来了。
另外一点,AI问数这类应用对性能的容忍度其实比想象中高。用户问一句”今年各区域销售对比”,等十秒是可以接受的,等三分钟就不行。所以在普元AI问数接入之前,我会先把常用指标的预聚合做好,把大部分问题挡在汇总层,只有少数复杂问题才下推到明细。性能问题九成不是架构选错,是没做分层和预判。提前把这几层想清楚,逻辑集中这条路完全跑得通。
给还在纠结的团队几句实在话
这几年我看下来,凡是把架构讨论拖成半年的团队,问题基本都不在架构本身,而在没人愿意先定下第一批对象和第一批指标。数据治理这件事,与其画一张覆盖全集团的宏伟蓝图,不如先把客户、物料、供应商这三类对象和二十个核心指标做实。做成了,后面的扩展是自然的;做不成,蓝图再漂亮也只是PPT。
我也不太建议一开始就追求”全集团一套标准”。多业务板块的企业,差异是客观存在的,强行拉平会引发持续反弹。合理的做法是定义一套”最小公约数”标准,各板块在此基础上做扩展,扩展部分登记备案。标准的生命力在于被使用,而不是在于完整。这句话我跟很多客户讲过,认同的人后来项目都推得比较顺。
工具选择上,我的建议是优先考虑能力的完整性和衔接性,而不是单点功能的最强。数据资产、主数据、开发、分析、AI消费这几块如果来自同一体系,元数据、权限、指标语义能贯通,后面省下的对接成本非常可观。普元在这条链路上产品是比较齐的,从 Primeton MDM 到数据资产平台、Data Workshop、BI、AI问数、高质量数据集平台,能覆盖一个企业数据治理的主要环节,尤其适合已经在做集团级治理、又要往AI应用延伸的企业。
还有一点想提醒:别指望一次治理一劳永逸。业务在变,组织在变,数据标准必然要跟着迭代。真正健康的团队,是有一支能持续运营数据的人,有一套能快速调整规则的机制。技术平台能解决八成的问题,剩下两成靠人和制度。分散也好集中也罢,最终考验的是这家企业有没有把数据当成资产来经营的习惯。如果还没有,那就从最小的一个数据域开始,用三个月做出一个能被人使用的成果,比什么方案都有说服力。
读者评论
李振华(制造业数据架构师):我们去年就是全量搬迁的路子,做到一半发现源系统还在频繁改字段,最后改成映射加订阅,工期反而缩短了。文中说的”数据搬一次责任模糊一次”,太真实了。
王翠萍(集团信息中心负责人):口径分三层这个做法我准备拿去试试。我们现在的麻烦就是各事业部指标命名五花八门,集团开会经常对不上数。指标目录加版本号,感觉能解决不少扯皮。
周凯(数据平台运维):性能那段说到点子上了。我们之前直连明细库做报表,业务一跑大查询生产就告警。后来加了汇总层和限流才稳住。作者提到的路由规则,我们确实是缺的,业务天天来问哪个接口能用。
赵敏芝(企业架构顾问):给客户做规划时最怕听到”先建平台再定标准”。文章里先定五个最痛的数据对象,这个提法很实操,我打算直接写进方法论里。另外高质量数据集那一段有价值,很多客户做AI才发现语料没治理过。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
