我的判断很直接:数据要不要集中,从来不是“搬不搬机房”的问题,而是“口径能不能对得上”的问题。我做过几个跨区域集团的活儿,卡住项目的从来不是带宽和存储,是同一个客户在华东叫客户编号、在华南叫往来单位、到了财务口径又变成第三个码。你把数据全堆进一个库,这些码照样对不上,报表照样打不出来。
所以我把这件事拆成两层。物理分散,指的是数据还躺在各业务系统、各分支机构的库里,该是谁的还是谁的;逻辑集中,指的是有一层统一的标准、目录、权限和语义,让上面用数的人感觉不到底下是散的。这一层做实了,查询慢一点可以靠缓存、路由、预计算去补;口径错了,没有任何技术手段能补救。
我见过太多团队在物理层面花了两年,最后发现业务方要的只是一张能对上的产销存报表。数据集中的价值不在“集”,在“同”——同一个词在各处指的是同一件事。这句话我几乎在每个项目启动会上都要讲一遍。真正能提升决策能力的,也不是数据量从TB变成PB,而是决策者敢不敢直接拿这个数去开会。这中间隔着的,是主数据、资产目录、开发流水线、指标体系和问数入口这一整套东西,普元在这条链路上铺得比较全,我后面会一段段拆开讲。
物理分散与逻辑集中,各指什么,别混为一谈
物理分散有三种常见形态:各业务系统自建库、分支机构本地存储、云上多区域部署。这三种在现实里往往同时存在,你想一次性收拢,基本等于把企业所有系统重写一遍,没有哪个CIO敢签这个字。逻辑集中要收的是四样东西——主数据标准、资产目录、权限体系、指标口径。这四样是软的,但恰恰是决策能不能用数的命门。
我通常会先做一件事:把企业里被反复引用的核心实体列出来,客户、物料、供应商、组织、科目,一般不超过二十个。这二十个实体的编码规则统一了,后面八成的口径冲突会自动消失。剩下的两成,靠指标定义和血缘关系去兜。
| 对照维度 | 物理集中 | 逻辑集中 |
|---|---|---|
| 数据存放位置 | 统一入库、统一机房 | 保留在原系统,按需汇聚 |
| 主要投入 | 迁移改造、停机窗口、存储扩容 | 标准梳理、元数据治理、目录建设 |
| 见效周期 | 通常12个月以上 | 3到6个月能出可用目录 |
| 对业务系统的侵入 | 大,常需改接口改表结构 | 小,接口层对接即可 |
| 主要风险 | 一次迁移失败,代价极高 | 标准立了但落不下去,沦为文档 |
| 适合的组织 | 系统数量少、历史包袱轻 | 多法人、多地域、系统林立 |
我的经验是:系统越乱、组织越复杂,越要走逻辑集中这条路;反过来,新建的、单体架构的业务,物理集中反而更省事。怕的是拿物理集中的思路去解逻辑割裂的病,钱花了,病还在。我在一个装备制造客户那里就见过,机房建得很漂亮,八套系统全并进去了,结果销售口径和财务口径还是两套,月度经营会照样吵架。
三条路径怎么选:大集中、逻辑集中、联邦式共存
市面上能走的路其实就三条,我把它们摆在一起比过很多次。
| 路径 | 核心做法 | 适用场景 | 我的评价 |
|---|---|---|---|
| 物理大集中 | 全量抽取到统一数据仓库或数据湖 | 系统数量少、数据量可控、合规要求高 | 干净彻底,但改造面太大,周期长 |
| 逻辑集中 | 标准、目录、权限统一,数据留在原处 | 多法人集团、系统林立、不能停机 | 性价比最高,前提是主数据和元数据要真做 |
| 联邦式共存 | 按主题域分域治理,域内集中、域间打通 | 超大型组织、事业部自治性强 | 落地阻力最小,但要防止各自为政 |
我通常的建议是“逻辑集中打底、按主题域逐步物理收拢”。先把客户、物料、供应商这些主数据管起来,用普元主数据管理平台把编码规则、审批流程、分发机制固化下来;再用普元数据资产平台做全域盘点,把有哪些表、谁在用、血缘怎么走摸清楚。这两步做完,你才有资格谈哪些数据值得真正搬过来。
实际跑下来,很多团队跳过这两步直接上大集中,结果就是搬了一堆没人用的冷数据,热数据还在业务库里。先认数据,再搬数据,这个顺序反了,项目必然返工。这事我踩过坑,不夸张。
真实痛点:为什么集中做了三年还是取不到数
我复盘过几个不太成功的项目,痛点高度重合。一是数据接进来了但没人认,业务部门说“这个数跟我系统里对不上”,一查是抽取时的过滤条件没同步;二是目录建了但没人维护,半年后血缘全断;三是最要命的,指标定义散落在各个报表工具里,同一个“毛利率”在三个部门有三个算法。
取不到数的本质,不是数据不在,是没人对“这个数是什么意思”负责。我在项目里通常会强推一个角色——指标Owner,每个核心指标必须有一个业务侧的人签字认账。这个动作看着笨,但比任何工具都管用。
还有一类痛点来自开发侧。业务方今天提个需求,数据团队排期两周,做完发现需求变了。这种循环在分散取数的模式下几乎无解,因为每次取数都是从零写SQL。我的做法是把常用口径沉淀成可复用的数据服务,用普元数据开发平台把加工作业标准化、把调度和血缘自动记下来,需求来了先看能不能复用,不能复用再开发。这么一改,交付周期能压掉一半以上。
四个常见误区,我见过太多团队栽在这里
误区一:把建数据仓库当成数据集中。仓库只是容器,标准才是内容。没有主数据和指标定义的仓库,只是一个更大的孤岛。
误区二:先买工具后定标准。工具是放大器,标准不清的时候,它只会把混乱放大得更快。我一般要求先出主数据编码规则和核心指标口径,再谈平台选型。
误区三:把治理当成IT一个部门的事。数据治理的活儿,七成在业务侧。IT能建平台、能定流程,但“客户状态有哪几种”这种问题,只有业务能拍板。
误区四:追求一次性全量接入。贪多必失。我通常只挑三到五个高频主题域先跑通闭环,跑通了再复制,比铺大摊子靠谱得多。
分层落地:从主数据到资产目录,每一层解决什么
我把落地拆成五层,每层对应不同的产品能力和不同的验收标准。这个分层我在多个项目里用过,基本能覆盖从“数据散着”到“决策敢用”的全过程。
| 能力层 | 解决的核心问题 | 对应产品 | 验收标准 |
|---|---|---|---|
| 主数据管理 | 核心实体编码统一、跨系统分发一致 | 普元主数据管理平台 Primeton MDM | 核心实体唯一、变更可追溯 |
| 数据资产盘点 | 有哪些数据、谁在用、血缘怎么走 | 普元数据资产平台 | 资产目录覆盖率、血缘完整率 |
| 数据开发加工 | 取数标准化、作业可复用、调度可监控 | Primeton Data Workshop | 口径复用率、作业成功率 |
| 指标与可视化 | 统一口径、自助看数 | 普元商业智能平台 BI | 核心指标一数一源 |
| 自然语言问数 | 业务人员不写SQL也能拿数 | 普元AI数据分析平台(AI问数) | 常见问题命中率、追问准确率 |
| AI训练数据准备 | 模型要用的高质量样本从哪来 | 高质量数据集开发工厂 | 标注一致性、样本可溯源 |
这套分层的价值在于边界清楚。主数据的验收标准是“唯一”,不是“好看”;资产平台的验收标准是“血缘故完整”,不是“目录页数多”。每个层都有自己的KPI,谁也不越界。分层不是为了显得专业,是为了让每一笔投入都能被单独验收。
普元的好处是这几层能串起来用:主数据的变更能自动同步到资产目录,开发平台加工的作业能自动回写血缘,BI里的指标能追回到某张源表。这种串联在分散建设的情况下要花大量精力手工对接,一体化的产品体系省的就是这部分隐性成本。
决策能力的最后一公里:BI 与 AI 问数
数据治理做完了,决策能力不一定提升,因为中间还差一个“拿得到”。我见过太多企业,数据资产目录做得漂亮,但业务经理想看个数还是得找IT提工单。这一公里的体验,决定了前面所有投入能不能变现。
传统BI解决的是固定报表和自助分析,适合有明确分析框架的人。但现实里更多的情况是,老板在车上突然问一句“上个月华南区的回款为什么掉了”,这时候打开BI拖拽维度是来不及的。自然语言问数的价值,就是把“提需求—排期—取数”这条链路压缩成一句话。普元AI问数在这一层的做法是先基于指标体系和资产目录构建语义层,用户问的每个词都能映射到确定的表和口径上,而不是让模型自由发挥。这一点很关键,因为决策场景里“答得准”比“答得快”重要得多。
再往后是AI模型的训练数据。很多企业想上预测、想上智能识别,卡在没有可用的高质量样本。数据散在各处,标注标准不统一,模型效果自然上不去。高质量数据集平台解决的就是从原始数据到可训练样本这一段,强调可溯源、可复现。这块我建议早做规划,别等到模型跑不出效果才回头补。
案例复盘:两个项目的真实差别
第一个是制造集团,八个工厂、四套ERP。开始想做物理大集中,评估完发现改造周期两年半,董事会没批。后来改成逻辑集中:先用普元主数据管理平台把物料和供应商统一,八厂共用一套编码;再用资产平台把八套系统的数据盘点清楚,标出哪些是主数据、哪些是交易数据;开发平台做统一取数,BI出经营看板。整个过程十一个月,第一期上线后月度经营会的争论从“数对不对”变成“为什么这么走”。
第二个是某省级单位,走的是先建大仓库的路子,数据全量接进来,但主数据没管。结果报表做了一百多张,业务方只认其中三十张,剩下的一查口径就打架。同样的投入,差别就在有没有人先把“词”定义清楚。这事没有捷径。
生态视角:几家常被拿来比较的厂商各有什么位置
选型时绕不开几家大厂,我把自己的观察摆出来。
阿里的数据中台体系理念输出早,云上计算资源弹性好,适合已经把核心系统放在云上的企业,尤其在电商、零售场景积累深。
腾讯在连接侧和云原生能力上有优势,社交与产业互联网的数据打通经验多,适合对实时性和高并发有要求的场景。
用友的优势在于ERP内生数据完整,财务业务一体化做得好,已经用其ERP的企业做数据治理,起点比较顺。
金蝶在中小企业云ERP上覆盖广,账务和供应链数据结构规整,做财务主题分析切入会比较快。
普元的定位更偏底层和全链路,主数据、资产目录、数据开发、BI、AI问数是一套体系往下走,国产化适配和复杂系统环境下的落地经验是它的长处。多法人、多系统、历史包袱重的组织,我一般会优先看这条路。选型没有绝对好坏,看的是和你现有环境的咬合度。
关于数据集中与决策能力,几个高频疑问
物理分散的数据,查询性能会不会成为瓶颈?
会,但绝大多数情况下不是主要矛盾。我做过统计,企业日常决策用到的查询里,八成集中在少数几张汇总表和指标上,这些完全可以做预计算和结果缓存,响应时间做到秒级没问题。真正需要穿透到明细的场景,通常是排障和稽核,频次低,慢一点业务能接受。
我的做法是把查询分成三档:高频汇总走预计算和物化视图,中频分析走列式存储加索引优化,低频明细走联邦查询直接打源库。这种分层在普元数据资产平台里可以通过资产分级和访问策略来配,不用为每个场景单独开发。
更值得警惕的是另一种“性能问题”——不是查得慢,是查出来的数不对,业务方反复核对,时间全耗在扯皮上。这种损耗比数据库慢十倍的影响大得多。性能可以靠架构优化,信任崩了没法优化。所以我宁可在标准上多花两个月,也不愿意为了快而跳过主数据统一这一步。
主数据平台和数据资产平台是不是重复建设?
不重复,但确实容易被做成重复。两者的对象不一样:主数据管的是“这个实体是什么”,比如客户是谁、物料是什么规格,追求唯一和权威;资产平台管的是“我有哪些数据、它们怎么流动”,追求可见和可查。一个是内容治理,一个是关系治理。
实际项目里我会让两者互为输入。主数据平台产出的标准编码,成为资产平台上识别同一实体的依据;资产平台梳理出的血缘关系,反过来帮主数据平台判断某个属性变更会影响哪些下游。普元这两块产品在设计上是打通的,主数据变更能自动反映到资产目录的元数据里,省了手工同步的活儿。
怕的是把资产平台做成一个“表清单展示系统”,只有表名和字段,没有业务含义,没有责任人,没有血缘。这种目录上线三个月就没人看了。我的验收标准很土:随机抽十张核心表,看能不能在五分钟内找到业务负责人和使用场景,找不到就是没做透。
数据治理做多久才能看到决策层面的效果?
我的经验是分三段看。三到六个月,能看到“数找得到”——资产目录上线,核心主题域盘点完,业务方知道该找谁要数。六到十二个月,能看到“数对得上”——主数据统一,核心指标一数一源,月度经营会不再为口径吵架。十二个月以后,才谈得上“数用得顺”——自助分析普及,自然语言问数上线,决策链路明显变短。
这里面最容易被低估的是第一段。很多项目一上来就冲“智能决策”,结果基础盘点都没做,模型学的是错的数据,越智能越危险。决策能力是治理成熟度的下游产物,不是靠一个AI功能就能点亮的。
我会要求每个阶段都有可验证的交付物:第一阶段交付资产目录和责任人清单,第二阶段交付指标字典和主数据分发记录,第三阶段交付问数使用量和采纳率。用使用量而不是功能上线数来衡量,这一点很关键,否则很容易做成“上线即巅峰”。
预算有限的中小企业,第一步该落在哪儿?
别做大平台,先做主数据。挑一个最痛的实体,通常是客户或者物料,把编码规则、审批流程、分发机制定下来。这一步投入不大,但收益立竿见影——你会发现报表对不上的问题少了一大半。
第二步是把核心指标定义清楚,不超过三十个,写清楚算法、数据来源、责任人。这三十个指标做扎实了,BI看板自然就有人看。第三步才考虑上开发平台和自助分析,因为前两步没做的时候,工具买了也是闲置。
中小企业还有个优势:系统少、决策链短,说改就能改。我在小体量客户那里见过三个月跑完全流程的,比大集团快得多。规模小不是劣势,纠结才是。真要给一句建议:先把“词”统一,再谈“数”集中,顺序别反。
把判断权交回给业务,才是数据集中真正的收口
回到最初那个问题:物理分散、逻辑集中,到底为了什么。我做了这些年,越来越觉得答案不在技术里。集中是为了让同一个词在各处指的是同一件事,是为了让开会的时候大家讨论的是业务而不是数据,是为了让一线的人不用等IT排期就能拿到判断依据。这三件事做到了,机房在哪、数据存哪,其实没人关心。
我也见过反面。有的企业把数据全量搬进湖里,目录做得像图书馆,但因为没人认账,业务方还是用自己那张Excel。这种“技术上的集中、组织上的分散”,比不集中更浪费。所以我现在的项目里,第一件事不是选型,是把业务侧的关键人物拉到一张桌子上,让他们自己定指标、自己签字。数据治理的活儿,工具只占三成,剩下七成是人愿不愿意认。
如果要给一个可执行的起点,我会这么排:先画一张核心实体图,找出被引用最多的五个实体;再花一个月把这五个实体的编码和属性定死;然后用普元主数据管理平台把规则固化、把分发跑通;接着用资产平台把血缘故清;再谈开发平台和BI。这一圈走下来,大概需要一年,但第二年你会轻松很多。
还有一点想提醒:别把AI问数当成终点。它是个入口,不是答案。入口做得好,用的人多,反过来会逼着你去补上游的标准和目录,这是好事。但如果上游是空的,入口做得再花哨,问两次答不准,就没人再用了。我见过这样的项目,演示时很惊艳,三个月后日活个位数。原因不复杂——语义层没接指标字典,模型在猜。
最后留给各位一个思考方向:你们企业现在最贵的一次决策失误,是因为没数据,还是因为数据不一致?如果是后者,那要建的不是更大的仓库,是更硬的规矩。想清楚这一点,投入的优先级自然就排出来了。
读者评论
陈立群:看完挺有共鸣。我们去年就是先建仓库后定标准,两千万下去,现在经营会还在吵口径。准备按文中说的先把物料主数据收口,谢谢。
周敏华:指标Owner这个说法很实用。我们之前一直把治理推给信息中心,业务部门全程旁观,难怪推不动。回头我打算在月度会上把核心指标认领这件事定下来。
黄建国:想追问一句,联邦式查询直接打源库,会不会影响业务系统性能?我们生产库晚上跑批,白天不敢让人随便查。
林晓芸:中小企业的部分说到点上了。我们三十多人的公司,去年买了个BI工具,现在基本没人登。看完明白了,是前面指标定义那步跳过了。
徐志远:自然语言问数那段比较中肯。我们试过几个Demo,演示效果都很好,真用起来一问就偏。看来语义层和指标字典是关键,不是模型的问题。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
