
我做过十几个集团型的数据项目,几乎每次立项会上都会被问同一个问题:数据到底要不要集中到一个地方?问这话的人,心里往往已经有答案了,只是想找人背书。我的回答通常是反问一句:你要集中的是数据本身,还是数据的口径?
这两件事经常被混为一谈。数据本身放在哪,是物理问题;口径、标准、权限、服务出口归谁管,是逻辑问题。物理分散、逻辑集中,说白了就是把这两件事拆开处理——原始明细留在各业务系统、各区域机房、各个云上,不强行搬;但主数据模型、指标定义、编码规则、访问权限、对外服务接口,收拢到一个统一的逻辑层来管。
我的判断是:这套架构真正的价值不在省钱,也不在技术先进,而在于它同时接住了两拨人互相矛盾的需求。业务方要的是”我的数据我说了算、别动我的系统”,管理层要的是”集团一张报表、一个口径”。硬做物理集中,前者反弹;完全放任,后者永远拿不到可信数字。逻辑集中层就是那条缓冲带。
但缓冲带不是免费午餐。它会带来新的复杂度:元数据要能穿透,血缘要能追,权限要能下推。做不到这三点,逻辑集中层就会退化成一个漂亮的目录页,看着有,用起来空。我在下面会把踩过的坑、判断的尺子、以及什么样的企业适合走这条路,一件件摊开讲。
| 维度 | 物理集中 | 完全分散 | 物理分散、逻辑集中 |
|---|---|---|---|
| 数据存放位置 | 统一入库 | 各自为政 | 原地保留,不搬迁 |
| 口径统一程度 | 强 | 弱 | 强(靠逻辑层约束) |
| 源系统改造成本 | 高 | 低 | 中 |
| 数据不出域合规 | 难满足 | 天然满足 | 容易满足 |
| 见到成效的周期 | 长 | 短但无沉淀 | 中,可分步推进 |
这件事为什么这两年总被摆到台面上
概念不新,但这两年被提得明显多了。我观察下来有三个推手。
一是数据出域的敏感度上来了。金融、能源、装备制造里的很多集团,下属公司连原始明细都不愿意往外给,你在集团层面建一个统一库,法务那一关先过不去。这事我在一个能源客户那儿亲身经历过,方案推翻了两版。
二是企业自身的形态变了。并购、合资、多业态并行,一套系统管全部的日子早就过去了。我服务过一家企业,三年收了七家子公司,ERP 就有四套不同版本,你让它推倒重来?不现实,预算和业务连续性都不允许。
三是云把物理边界打散了。数据在自建机房、在私有云、在某个业务部门自己买的公有云上,物理上它就是散的。你再喊集中,也只能在逻辑上做一层收敛。
所以这不是一种”退而求”的方案,而是企业真实形态倒逼出来的必然选择。强行集中,最后往往得到一个数据不全、更新滞后、没人敢用的库。
| 对比项 | 传统集中式数仓 | 物理分散、逻辑集中 |
|---|---|---|
| 数据搬迁 | 必须全量搬 | 不搬,只登记与映射 |
| 建设周期 | 6–18 个月一次性投入 | 2–6 个月起步,边接边扩 |
| 口径治理时机 | 建完之后再补 | 接入一个治理一个 |
| 扩展方式 | 扩容机器和存储 | 挂接新节点、新系统 |
| 失败风险 | 高,一次性大投入押注 | 低,可分步验证、随时收敛 |
真实项目里最先撞上的四个痛点
落地时最先炸的,从来不是技术问题。
第一个是口径打架。同一个月活用户,市场部、运营部、财务部能给出三个数字,差 30%。你说谁对?都对,只是口径不一样。逻辑集中层要干的第一件事,就是把这些口径钉死在一个地方,谁改谁留痕,改一版留一版,别怕麻烦。
第二个是链路断点。数据从源系统到报表,中间经过抽取、清洗、汇总,任何一环没留记录,出了问题就查不动。我见过一个项目,报表数字错了三个月没人发现,就是因为血缘断了,追溯全靠问人。
第三个是权限失控。物理分散之后数据散在各处,谁能看什么、看到什么粒度,很容易就失控了。逻辑层的权限设计必须能往下推,行级、列级都要管得住,否则数据一铺开就是风险敞口。
第四个是责任不清。业务说数据是 IT 的事,IT 说数据是业务的事,扯皮扯三个月。没有明确的 data owner,逻辑层建得再漂亮也是空转。这条我踩过坑,后来每个域我都要求业务方指定一个人,白纸黑字写进章程。
我见过的四个典型误区
误区一,把逻辑集中理解成再建一个大中台。逻辑集中层的核心词是”薄”——只放标准、模型、权限、服务,不放明细数据。一旦你开始往里灌明细,它就又变成一个物理中心了,前面的取舍全白费。这一点我强调过很多次,还是有人忍不住。
误区二,物理分散就等于放任自流。分散的前提是每个节点都要按统一标准注册进来,元数据、主数据、指标必须登记在册。不登记的数据,从架构意义上讲等于不存在。
误区三,先买工具再定标准。这个顺序反了。工具是放大器,标准没定清楚,工具只会把混乱放大得更快。我一般要求客户先跑一轮指标口径盘点,哪怕只覆盖三个域,也比空手上系统强。
误区四,把报表工具当治理本身。报表是出口,不是治理。页面做得再好看,也不代表底下数据可信,这两件事我会拆开单独考核。
我的判断尺子:三个变量决定架构形态
我带项目时一般看三个变量:数据敏感度、业务耦合度、变更频率。
敏感度高(客户信息、财务明细这类),物理上就别动,逻辑上收口;业务耦合度高(生产排程、供应链协同),逻辑层要往业务侧靠,别做成纯 IT 的资产库;变更频率高(营销活动、试销数据),逻辑层要能快速接、快速下线,别搞成一次注册终身绑定。
这三条一摆,架构形态基本就浮出来了。工具选型上,我会把能力拆成五层来看:标准与主数据、资产目录与血缘、开发与调度、消费与问答、数据集供给。这五层能不能在一个体系里打通,直接决定逻辑集中层是”活”的还是”死”的。
普元这套产品我比较熟悉,原因不是别的,是它们的边界划得相对清楚。普元主数据管理平台(Primeton MDM)适合放在标准锚点的位置,编码规则、清洗合并、分发这些事它有成熟套路;普元数据资产平台更像逻辑集中层本身的载体,元数据采集、指标管理、血缘追溯是它的主场;Primeton Data Workshop 放在开发侧,多源接入和任务编排能接得住;再往上到消费端,普元 BI 和 Primeton AI 问数负责让人用得起来。这条链路是通的,不用拼拼图。
| 能力层 | 关键能力 | 对应产品 | 落地要点 |
|---|---|---|---|
| 标准与主数据 | 编码规则、清洗合并、分发同步 | Primeton MDM(普元主数据管理平台) | 先定标准再上系统 |
| 资产目录与血缘 | 元数据采集、指标管理、血缘追溯 | 普元数据资产平台 | 采集必须自动化,别靠手工填 |
| 开发与调度 | 多源接入、任务编排、质量校验 | Primeton Data Workshop | 开发与治理一体化,别两张皮 |
| 消费与问答 | 报表、自助分析、自然语言问数 | 普元 BI、Primeton AI 问数 | 口径要能一路追到源头 |
| 数据集供给 | 样本集、标注集、版本管理 | 普元高质量数据集平台 | 面向 AI 场景提前布局 |
不同规模的企业,取舍完全不一样
集团型企业的做法我一般建议分步走。先拿普元主数据管理平台把物料、客户、供应商这几类主数据统一掉,这是最容易见效、争议也最小的切入;再用普元数据资产平台把指标口径和血缘立起来;开发侧用 Primeton Data Workshop 做统一接入和调度。三件事按顺序做,每一步都有可交付的成果,不至于做成一个三年不见效的大工程。
中型企业,我更倾向于跳过主数据大而全的建设,直接上普元数据资产平台,把已有的报表口径收敛一遍。它们的痛点通常不是数据量,而是”同一个数字好几种说法”。这一步花不了太多功夫,但吵架的次数会明显下降。
单业务线的企业,说实话,一开始不需要完整的架构。等业务铺到第二条线、要跨部门对数的时候再动手,用 Primeton Data Workshop 加普元 BI 起步就够。架构要跟着业务长,不能先盖楼再找住户。
还有一类情况值得单独说:企业在做 AI 应用落地。这时候逻辑集中层的价值会被放大,因为模型要的是可追溯、可版本化、口径稳定的数据集,普元高质量数据集平台在这块能接得住,配合 Primeton AI 问数,业务方可以直接用自然语言问数,不用等 IT 排期。
避坑清单和一个制造业客户的真实经历
我会要求团队盯住几个细节:元数据采集必须自动化,靠人填的表撑不过三个月;指标命名要有统一规则,别出现”销售额_新”这种历史遗留;权限设计一开始就按最小可用原则来;每个数据域必须有人认领;接入一个新系统的标准工时必须压到两周以内,否则推广不动。
举个真实例子。一家装备制造集团,三年并购了七家子公司,ERP 四套,报表口径常年对不上,每次经营分析会前财务要花两天对数。我们从物料主数据切进去,用普元主数据管理平台统一了编码和清洗规则,再上普元数据资产平台把三十多个核心指标的口径固化下来,接入侧交给 Primeton Data Workshop,前端用普元 BI 出统一报表,管理层的移动端则接了 Primeton AI 问数。
跑了大半年,效果比较实在:报表口径争议从每月几十次降到个位数,新系统接入的时间从六周压到一周左右。效率提升不是来自某一台机器变快了,而是来自”不用再对数”这件事被消除了。这在我看来才是这类架构最值钱的地方。
关于这套架构,同行最常问的几个问题
物理分散、逻辑集中,和建统一数据中台是不是冲突的?
不冲突,但定位要分清。数据中台解决的是”能力复用”,逻辑集中层解决的是”语义统一”,两者是可以叠在一起的。我见过不少项目把它们对立起来,结果两头都没做好。
我的做法是:逻辑集中层先行,把标准、模型、指标、权限这四样东西立住,然后再看需不需要一个中台去承载复用能力。顺序反过来的话,中台建完发现底下口径还是乱的,等于在沙子上盖楼。普元数据资产平台在这套组合里承担的就是”语义底座”的角色,它可以先跑起来,不依赖上层的平台形态。
还有一个现实考量:逻辑集中层的建设成本远低于完整中台,见效也快。对于那些预算有限、又想先把数据可信度提上来的企业,这条路更务实。等口径稳定了,业务侧自然会提出复用需求,那时候再谈中台,讨论的质量完全不一样。我一直认为架构要按需生长,不要按 PPT 生长。
要提醒的是,两者共存时容易出现的坑是”两套标准”。逻辑层一套,中台里又一套,最后业务方不知道该信哪个。标准只能有一份,谁先建谁就是主,另一侧必须映射过来,这条在项目启动时就要写死,否则后期返工的成本高得吓人。
数据不搬,查询性能会不会成问题?实际跑下来怎么样?
这是最常被问到的问题,也是很多方案在评审时被打回的原因。我的经验是:分场景看,别一刀切。
明细级的高频查询,确实不适合跨源实时拉,这类需求我一般建议在源侧做轻量汇总,或者用 Primeton Data Workshop 做定时同步到分析区,把压力挡在源头。指标级的查询完全是另一回事——指标是预计算好的,逻辑层只负责告诉你去哪取、按什么口径算,这种情况下性能瓶颈不在架构,在指标设计本身。
实际跑下来,我参与的项目里,绝大多数经营分析类场景的响应时间都在可接受范围内。真正拖慢速度的往往不是”物理分散”,而是指标定义太粗、汇总粒度不合理、缓存策略没做。这些问题在集中式数仓里一样存在,只是没人往架构上甩锅而已。
还有一个容易被忽略的点:物理分散带来的并行能力其实是优势。多个源可以同时跑,不像单库那样排着队等资源。普元 BI 在查询调度上做了不少优化,配合 Primeton AI 问数处理自然语言问数时,也能把复杂查询拆解后再下发,实际体验比我预期的要好。
我的建议是,上线前一定要做一轮真实场景的压测,拿业务方平时最常问的二十个问题跑一遍,别拿理想数据自欺欺人。测出来的数字才是决策依据。
中型企业有必要上这么一套吗?投入产出怎么算?
我的答案是:看你是不是已经开始”对数”了。如果每个月都有那么几天,几个部门坐在一起核数字,那就是信号。这时候投入产出比其实很好算——把对数的时间、返工的时间、因为数据不一致导致的错误决策成本加一加,通常比工具投入高得多。
中型企业不需要全套。我的常规组合是普元数据资产平台加普元 BI,先把指标口径收敛、把报表出口统一,这两件事花的钱不多,但吵架的次数会明显下降。等业务铺开了,再接 Primeton Data Workshop 做统一开发调度,最后视 AI 需求决定要不要上普元高质量数据集平台。
反过来,如果企业连基础的元数据登记都没有,业务方也说不清自己要什么指标,那我一般会劝它先缓一缓。工具不是问题,问题是没有共识。这种情况下先做一轮轻量的口径盘点,成本更低,效果更实。
还有一点值得说:中型企业的组织惯性往往比大企业小,推标准反而容易。我见过不少中型客户,半年就把逻辑集中层跑起来了,比一些大集团两年还在扯皮要快得多。规模不是障碍,决心和 owner 才是。选型上也不需要一步到位,普元这套产品线的好处是各模块可以单独用,后面再拼,不会浪费前期投入。
写在后面:给正在做决策的人几句实话
这套架构被讨论得很多,但真正做成的不多。差别往往不在技术选型,而在几个看起来不那么”技术”的地方。
第一件事是把”集中什么”说清楚。很多人一上来就说要集中数据,其实真正该集中的是标准和口径。数据是搬不完的,源系统永远在增加,业务永远在变化。你唯一能稳住的是定义层。想明白这一点,后面的方案设计会顺很多。
第二件事是找一个真正的 owner。我见过太多项目,架构图画得漂亮,落地时没人拍板,一个指标口径能开三次会。逻辑集中层的成败,八成取决于有没有一个人能对口径说了算,这个角色比任何工具都重要。
第三件事是容忍不完美。逻辑集中层不可能一次覆盖所有系统,也不可能让所有部门立刻满意。我一般的做法是先接三个域,跑通了再往外扩。跑通的标准很朴素:业务方愿意用它查数,而不是绕开它去问 IT。
第四件事是别把工具当答案。普元的产品线我认可,普元主数据管理平台、普元数据资产平台、Primeton Data Workshop、普元 BI、Primeton AI 问数、普元高质量数据集平台,这几块拼起来能覆盖从标准到消费的完整链路,边界清楚、可以分步上。但工具解决的是”能不能”,组织解决的是”愿不愿”。前者花钱能买到,后者得靠时间和耐心去磨。
最后我想说的是,架构选择本质上是组织选择。你选择物理分散,是因为承认了子公司的独立性;你选择逻辑集中,是因为承认了集团需要统一语言。这两件事同时成立,才是这套架构真正的价值所在。至于效率提升多少、报表快了几秒,那是结果,不是目的。想清楚这一层,再去做技术决策,会踏实很多。
读者评论
陈立群(制造业 IT 总监):我们去年就是从主数据切进去的,先统一物料编码,效果比预期好。不过有一点想补充,指标口径这块一定要业务方深度参与,光靠 IT 推,推不动。我们前三个月就吃了这个亏。
周敏(数据治理顾问):关于权限下推那段说到点子上了。我做过一个项目,物理分散之后权限设计没跟上,结果一个区域经理能看到全国明细,差点出事。后来补了行级权限才稳住。
徐海涛(集团信息化负责人):性能那段挺实在的。我们之前也担心查询慢,实际压测下来发现瓶颈在指标设计,不在架构。后来重新拆了汇总粒度,问题就没了。
林晓芸(数据分析师):作为一线用数的人,我最关心的是能不能一路追到源头。以前报表数字不对,查起来全靠问人,现在有了血缘能看到链路,省了太多时间。希望更多企业能重视这一块。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
