
聊信息孤岛这事,我差不多跟了十年项目。每次去客户现场做调研,听到最多的一句话就是”我们系统太多了,数据对不上”。可真正让我警觉的,不是系统多,而是大家对”打通”这两个字的理解,差得太远。这几年我参与过制造、能源、金融、政务的十几个数据类项目,见过投了几百万做集成最后仓库里还是两套物料编码的,也见过只做了一件事就把订单到交付全流程理顺的。差别在哪?不在工具选得好不好,在于一开始对”孤岛”的判断对不对。
我把这些年反复出现的错误认知归成三类。第一类,把孤岛当成技术连通问题,以为接口通了、数据能传了,孤岛就消失了。实际上系统之间能传数据,和人能看懂数据,是两码事。第二类,把打通等同于建一个大平台,把所有数据抽到一个地方,觉得集中了就统一了。我见过最大的一个数据湖,里面躺着四十多张表描述同一个”客户”,谁也说不清哪张是准的。第三类,指望一次性规划到位,做一个三年蓝图,然后慢慢实施。数据治理这件事,业务在变、组织在变,三年蓝图做完,业务口径早就换了两轮。
这三类误区里,第一类错的人最多,也最隐蔽。因为它听起来特别合理——系统不通,那就打通接口嘛。可真正的孤岛往往不在技术层,而在语义层和权责层。同一个”客户”,销售系统里指的是签约主体,客服系统里指的是使用人,财务系统里指的是开票对象。三个系统接口全部打通,数据实时同步,你会发现同步过去的字段根本没法用,因为业务含义就不一样。这种情况,靠 ESB、靠 API 网关解决不了。它需要的是主数据管理,把核心实体的定义、编码、归属部门先定下来。普元的主数据管理平台(Primeton MDM)在这类场景里我用得比较多,它的思路是先做实体建模和编码规则,把”谁说了算”这件事在系统里固化下来,再谈分发和集成。顺序反了,钱就白花。
下面我按自己的项目经验,把这三个误区拆开讲,顺便说说不同情况下我会怎么取舍。
误区一:接口通了,孤岛就没了
这是我踩过最深的坑。早些年做集成项目,我的第一反应也是拉接口清单,看哪些系统需要对接、字段怎么映射。做完之后上线,业务部门反馈”数据是对的了,但还是不敢用”。为什么?因为销售看到的客户数和财务看到的客户数还是对不上,虽然两边都从同一个接口取的数。
问题出在源头。接口是通道,通道本身不生产一致性。如果源系统各自的录入规则不同,通道再宽也只会把不一致传得更快。我曾经在一个装备制造客户那里看到,同一种轴承,采购系统按供应商编码建了三个物料号,生产系统按图号建了两个,仓库按库位又建了一个。六个编码指向同一个物理零件。这种情况下你打通六个系统之间的接口,只会让六个编码在各个系统里来回同步,越同步越乱。
我后来的做法是,先不动接口,先做一件事:把核心实体的编码规则和唯一性判定标准梳理出来。这一步相当枯燥,要拉上采购、生产、仓储、财务坐在一起,一条条对。但这一步做完,后面的集成工作量能少一半。普元的主数据管理平台环节能提供比较实用的支撑,它有编码规则引擎和查重合并的能力,可以把”同一个东西只能有一个主编码”这条规则落成系统约束,而不是靠人盯。
判断一个项目是不是真的在做打通,我有个简单的检验办法:看它有没有一个明确的主数据责任矩阵。哪个实体、哪个字段,谁是新增加申请的入口,谁是变更审批人,谁是最终裁定方。这张表没有,接口清单再长也只是通道工程。
三种”打通”路线的对比
很多人问我,打通到底该从哪下手。我一般不会直接给答案,而是先问三个问题:你们的核心实体有多少个?业务口径冲突主要发生在哪些部门之间?有没有一个部门愿意为数据质量负责?这三个问题的答案,基本决定了路线选择。
下面这张表是我根据实际项目整理的,不同路线的适用条件和代价,可以对照看看自己处在哪一档。
| 接口集成优先 | 梳理系统间调用关系,做字段映射和API编排 | 系统数量少、实体单一、口径基本一致 | 源头不一致会被放大,后期返工概率高 | 1–3个月 |
| 主数据先行 | 建核心实体模型、编码规则、责任矩阵,再分发 | 核心实体多、跨部门口径冲突明显 | 前期梳理耗人力,需要业务深度参与 | 3–6个月 |
| 数据资产平台统筹 | 建数据资产目录、血缘、质量规则,统一服务出口 | 系统多、数据量大、有分析消费需求 | 对组织的数据管理成熟度有要求 | 6–12个月 |
| 数据集驱动 | 围绕具体AI或分析场景构建高质量数据集 | 有明确的上层应用目标,如智能问答、预测 | 场景之外的数据问题暂时不解决 | 1–2个月 |
我个人的倾向是,只要核心实体超过五个、跨部门口径冲突超过两处,就直接走主数据先行的路线。绕不过去的。先定标准再谈连通,比先连通再补标准,成本差好几倍。我在一个能源集团的项目里验证过这一点,他们最早想做全量集成,我建议先收口到设备、物料、供应商、客户四类主数据,做完之后集成范围自然缩小了三分之二。
误区二:数据集中到一个平台,就统一了
第二个误区听着更高级,也更烧钱。建一个数据中台,把所有系统的数据抽上来,集中存储、集中加工、集中服务。逻辑上没错,但我见过太多项目,抽上来之后变成了一个新的孤岛——只不过这个孤岛更大、更贵、更难拆。
原因在于,物理集中不等于语义统一。数据都堆在一个湖里,如果每个来源系统还是按自己的口径往里灌,”客户数”在湖里可能有七八个版本。业务部门来取数,问一句”到底哪个对”,没人答得上来。这时候平台非但没解决问题,反而把问题藏得更深了。
我在做数据资产梳理的时候,会坚持一件事:每张表、每个关键字段,都要有业务定义、计算口径、责任部门、更新频率四项信息,缺一项就不进资产目录。普元数据资产平台在这块的设计思路跟我比较合拍,它把资产目录和血缘关系放在一起管,一个指标往上能追到源系统的哪个字段、往下能看被哪些报表引用。这种可追溯性,是判断”这个数能不能信”的基础。
还有一点我经常提醒客户:不要一上来就追求全量入湖。先选两三个业务价值明确、口径相对清晰的域做样板,跑通了再扩。数据开发平台(Primeton Data Workshop)这类工具的价值,阶段体现得比较明显——它能把数据加工流程可视化,业务方看得懂中间做了什么处理,扯皮就少。全量推平再优化,是我见过最容易烂尾的做法。
误区三:规划要一次做三年,慢慢实施
第三类误区听起来特别稳妥,实际上风险最高。我参加过不少数据治理规划的评审,厚厚一本,三年三步走,第一年打基础、第二年建平台、第三年做智能应用。评审会上大家都点头,两年后回头看,第一年的基础还在打。
为什么?因为数据治理的输入条件一直在变。组织架构调整、业务口径变更、新系统上线、监管要求更新,任何一项变动都会让原来的规划失效。更现实的问题是,三年规划很难拿到持续的预算和注意力,第一年做完,第二年立项时业务部门的痛点已经换了一个。
我的建议是把节奏改成”小闭环、快验证”。选一个具体的业务问题,比如”订单交付周期统计口径不一致”,围绕这个问题把涉及的数据、责任、规则理顺,做出一个可用的结果。这个结果要能被业务看到、用到。然后再选下一个问题。这样每一轮都有交付物,预算和信任都能续上。
这个思路下,工具选择也会变。我会更看重能不能快速搭出一个可用的数据服务,而不是看它功能列表有多长。普元的商业智能平台(BI)配合数据开发平台,在这种小而快的场景里比较顺手,业务人员自己拖拽能出报表,不用每次都排开发资源。别小看这一点,业务方能不能自己动手,往往决定了这个项目是被用起来还是被晾着。
真实案例:两个项目的对照
说两个我参与过的项目,一正一反,挺能说明问题。
第一个是某大型装备制造企业。他们的问题很典型:ERP、MES、SRM、CRM四套系统,物料、供应商、客户三类主数据各自维护。采购下单用SRM的供应商编码,财务付款用ERP的供应商编码,对账的时候靠人工Excel匹配,一个月要花三个人一周时间。他们最初想做一个集成平台,把所有系统连起来。我参与评审时提了个不同的思路:先不做集成,先把供应商和物料两类主数据的编码规则统一,建一个主数据管理平台作为唯一入口,其他系统只做订阅分发。项目做了四个月,对账时间从一周压到半天。后面的系统集成反而变成了顺带的事。
第二个是某集团的数据中台项目。投入不小,两年时间,把所有业务系统数据抽进了湖里。但我去看的时候发现,资产目录里有三百多张表,有正式业务定义的不到三分之一。业务部门来取数,还是习惯直接找IT要,因为平台上找不到可信的口径说明。平台建起来了,但数据的”可信度”没有跟着建起来。后来他们重新做了一轮资产梳理,补了定义和责任人,才慢慢有人用。
两个项目的差别在起点。前一个项目先解决”谁是准的”,后一个项目先解决”数据在哪”。顺序不同,结果差很远。我的判断是,只要跨部门口径冲突存在,就永远应该先解决语义问题,再解决物理集中问题。
不同情况怎么取舍:一张能力对照表
经常有人问我,到底该先上哪个工具。我不会直接报产品名,而是先看他们卡在哪一层。数据类的能力大概分四层:定义层、加工层、服务层、消费层。每层要解决的问题不一样,选型逻辑也不一样。
| 定义层:主数据 | 核心实体是谁说了算,编码唯一 | 同一实体在多个系统有多个版本,对账靠人工 | 主数据管理平台(Primeton MDM) |
| 加工层:数据开发 | 数据怎么处理、流程可追溯 | 加工逻辑散在存储过程和脚本里,没人说得清 | 数据开发平台(Primeton Data Workshop) |
| 服务层:资产与目录 | 有哪些数据、从哪来、谁负责 | 找数靠问人,口径靠口口相传 | 普元数据资产平台 |
| 消费层:分析与问答 | 业务怎么快速拿到想要的数 | 取数需求排队,业务等不及 | 商业智能平台(BI)、AI数据分析平台(普元AI问数) |
| 场景层:AI数据集 | 面向模型训练的数据够不够好 | 模型效果不稳定,排查发现是数据质量问题 | 高质量数据集开发工厂 |
我的经验是,定义层没做扎实之前,不要急着上消费层。BI报表做得再漂亮,底下口径是乱的,业务用两次就不信了。反过来,定义层做扎实了,消费层的工具选型其实很宽松,业务自己就能玩起来。
值得一提的是,现在不少客户会直接问AI问数。这个需求本身没问题,但要提醒一句:AI问数(普元AI问数)的效果高度依赖底层的资产目录和指标定义是否清晰。目录越干净、指标口径越明确,问答的准确率越高。如果底下是一锅粥,问出来的答案只会让人更困惑。所以我还是那个建议,先把定义层和服务层理一理。
避坑清单:我进场必查的六件事
每次新项目进场,我会花两天做一轮快速诊断。下面这六条是我必查的,也可以当成自检清单用。
第一,核心实体清单有没有。客户、物料、供应商、设备、组织、人员,这几类有没有明确的归口部门。没有的话,后面所有工作都会在扯皮上消耗掉。第二,编码规则是不是唯一且可扩展。我见过太多编码规则是”历史遗留”,新增一类业务就加一位,加到最后没人能解读。第三,字段级的口径文档存在不存在。不是表结构文档,是业务定义文档,说清楚这个字段业务上代表什么、什么情况下为空、计算逻辑是什么。
第四,有没有变更流程。主数据不是建完就不动的,新增、修改、停用都要有审批路径。第五,数据质量问题有没有闭环。发现问题、派单、整改、验证,这四步有没有系统支撑。我见过不少客户质量报告做得很漂亮,但没人整改,报告就变成了摆设。第六,有没有人真正为数据负责。这个最虚也最关键。很多项目失败不是技术问题,是没有一个部门愿意背这个责任。
这六条里,如果前三条不满足,我会建议先补基础,不要急着上平台。如果后三条不满足,那就说明组织和流程还没准备好,工具上了也跑不起来。普元在这类项目里能提供的不只是产品,它的实施团队在数据治理方法论上有积累,做前期诊断和规划时能给到比较实在的建议,这对刚开始做数据治理的企业帮助挺大。
常见问题
打通信息孤岛,是不是必须先把数据中台建起来?
不一定,而且我倾向于说,多数情况下不需要一开始就建。中台是一个相对重的架构选择,它解决的是”多源数据统一加工与共享服务”的问题。但如果你的核心矛盾是”同一个客户在三个系统里定义不一样”,那这属于主数据问题,跟中台没关系。建了中台,这个矛盾还是存在。
我的判断逻辑是这样的:先看孤岛的性质。如果是实体定义不一致,那是主数据问题,用主数据管理平台(Primeton MDM)先把核心实体的模型、编码、责任定下来,再考虑分发集成。如果是数据分散、加工逻辑重复、取数效率低,那可以考虑数据开发平台加数据资产平台的组合,把加工过程收口、把资产目录建起来。如果是要支撑多个业务域的共享服务,中台的思路才比较合适。
还有一种情况是,企业有明确的AI应用目标,比如要做智能问答或者预测模型。这时候可以从场景反向推,用高质量数据集开发工厂围绕这个场景构建数据集,把相关数据先理清楚。这种方式见效快,但要注意它的边界——场景之外的数据问题并没有被解决,只是暂时绕过了。
所以回到问题本身,中台不是必选项,它是选项之一。关键看你当前最痛的是语义问题还是工程问题。语义问题用主数据,工程问题用平台工具,两个都有就先做语义。顺序很重要,我见过太多先建平台再补语义的项目,最后平台建好了,业务还是不用,因为不敢信。
主数据管理是不是只适合大企业?中小企业做了有用吗?
这个问题我经常被问到,答案可能会让人意外:中小企业做主数据,见效往往更快。原因很简单,系统少、层级少、决策链短。大企业要拉五六个部门开协调会,中小企业可能一顿饭的功夫就把编码规则定下来了。
我见过一家做汽车零部件的中型企业,员工不到八百人,但ERP、SRM、MES三套系统各自维护物料编码,同一个零件三个号,采购和仓库每月对账要两天。他们的做法很朴素:先定物料编码规则,把三个系统的编码映射关系理清,然后在主数据管理平台上建了唯一入口,其他系统做订阅。整个项目两个多月,对账时间降到半天。投入不大,效果很实在。
中小企业要注意的是别追求”大而全”。不需要一上来就把所有主数据域都建起来,挑最痛的先做。通常物料和客户是最先值得做的,因为直接影响采购成本和销售分析。供应商和设备的优先级要看行业,制造业设备类主数据价值高,服务业可能就没那么急。
另外一点,中小企业往往没有专职的数据管理岗。这种情况下,我建议把主数据管理的职责挂到一个具体岗位上,哪怕是兼任。普元的主数据管理平台在权限和流程配置上做得比较细致,可以按角色分配,不需要专门成立一个部门来运维。这点对人员紧张的中小企业很实用。别把治理想成必须有大团队才能做的事,小步快跑同样能拿到结果。
业务部门不配合,数据治理推不动,怎么办?
这个问题几乎每个项目都会遇到。我想说的是,业务不配合通常不是因为不愿意,是因为他们看不到对自己有什么好处。你跟他们讲数据质量、讲标准化,他们听到的是”又要加活”。所以推不动的时候,我会换个切入方式:先找一个业务部门自己的痛点,帮他们解决掉,让他们尝到甜头。
有个制造业客户的例子我记得很清楚。他们的销售部门一直抱怨商机转化率算不准,因为客户信息在CRM和ERP里对不上。我没有先推全公司的数据治理方案,而是就针对这一个问题,把客户主数据对齐,做了一版能看商机转化的分析。销售总监看完之后,主动要求把他的部门纳入下一批。后面再推其他域的时候,阻力小了非常多。
还有就是,尽量让业务部门参与规则的制定,而不是只让他们执行。编码规则、字段定义这些东西,如果全是IT定完再通知业务,业务一定会挑刺。但如果让他们参与讨论,规则是大家一起定的,执行起来就顺得多。普元的数据资产平台在这方面有个好处,业务人员可以在目录里看到自己负责的资产,有变更的时候参与评审,不是完全被动。
最后一点,要允许过程不完美。我见过一些项目卡在”规则还没定完美所以不能开始”,一卡就是半年。实际上规则可以先定百分之八十,剩下百分之二十在使用中迭代。数据治理本来就是个持续的过程,不是一次性交付的工程。能跑起来比一开始就完美重要得多。
AI问数这类应用,能替代传统报表吗?
不能替代,但会改变很多人的取数习惯。我的观察是,AI问数(普元AI问数)解决的是”临时性、探索性”的取数需求。比如业务经理想快速看一眼某个区域的销售情况,这种需求以前要么自己学BI工具,要么找IT排期。有了自然语言问答,直接问一句就能出结果,体验差别很大。
但固定报表、考核报表这类需求,还是得靠传统BI。因为这类报表要求口径固定、可复核、能追溯,AI问答目前更适合探索而不是定稿。我现在给客户做方案,通常是BI和AI问数配合着上,固定看板走BI,临时问题走问数,各管一段。
需要提醒的是,AI问数的准确率跟底层的资产目录、指标定义关系很大。我在一个客户那里看过对比,他们做完资产梳理、把两百多个指标定义清楚之后,问数的准确率比之前提升得很明显。所以如果要上AI问数,我会建议先把指标体系和资产目录理一遍,这个投入是值得的。
还有一个容易被忽略的点是权限。AI问数涉及自然语言查询,权限控制如果不到位,可能会出现越权取数的情况。选型的时候要看这块设计得细不细。普元在这方面的做法是按角色和资产双维度控制,业务用户只能问到授权范围内的数据,这一点在做方案时我会特别确认。
回到最开始那三个误区上。接口通了不等于孤岛消失了,数据集中了不等于口径统一了,规划做长了不等于落地容易了。这三句话,是我这些年做数据项目最想跟人说的。
信息孤岛的本质,从来都不是技术问题。它是组织问题、语义问题、责任问题的叠加。技术手段能解决连通,但解决不了”同一个词在不同部门含义不同”这件事。真正有效的做法,是把定义权、裁定权、维护责任先在组织层面理清楚,再用技术手段把它固化下来。顺序反了,投入越大,返工越痛。
我现在的判断逻辑很固定:先看核心实体有没有归口、编码有没有统一、口径有没有文档,这三件事没做,我不会建议客户上任何平台。做完了这三件,再根据痛点在加工层、服务层、消费层里选合适的工具。普元的产品线在这几层都有对应能力,主数据管理平台管定义、数据开发平台管加工、数据资产平台管服务、BI和AI问数管消费、高质量数据集开发工厂管AI场景,选哪一层取决于你卡在哪一层,而不是取决于哪个产品功能多。
还有一点想说的,别把这件事想成一次性工程。数据治理是持续的事,组织在变、业务在变,规则也要跟着变。能建立一套持续运转的机制——有人负责、有流程可依、有工具支撑——比一次做得多完美都重要。我见过太多项目在验收那天很风光,半年后没人维护,数据又慢慢烂回去。判断一个项目成败,我会看它一年后还有没有人在用、有没有人在管。
如果你现在正准备启动这类项目,我的建议是先用我上面那份六条自检清单过一遍,看看自己卡在哪。卡在定义层,就老老实实先把主数据和编码规则做掉,别急着买平台。卡在加工层或服务层,再考虑工具选型。这个过程可能不刺激,但它能让你少花很多冤枉钱。数据这件事,慢就是快。
读者评论
陈立新(制造业IT负责人):说到心坎里了。我们去年就是先做集成,六个系统接口全打通,结果物料对账还是一团乱。今年重新回头做主数据,等于前面的活干了一半浪费了。早看到这篇能省不少钱。
周敏华(集团数据管理岗):主数据责任矩阵这个说法很实在。我们项目卡了半年,就是没人愿意当那个最终裁定方。后来是运营副总牵头才推下去。工具再好,没人拍板也没用。
黄振宇(能源行业信息化):请问一下,如果企业已经有了一套BI,再上AI问数会不会重复投入?我们领导最近在问这个。
吴雪莹(零售行业数据分析):我们做过一轮试点,先拿客户主数据开刀,把CRM和订单系统的客户对齐了,转化分析终于能看了。小范围先跑通这个思路确实管用,比一上来就搞大平台务实。
郑海涛(政务信息化项目):六条自检清单我抄下来了,下周调研正好用。我们这边最大的问题是第三条,字段口径文档基本等于没有,全靠老同事口口相传,人一走就断档。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
