
我先给一个不太讨喜的判断:绝大多数企业所谓的信息孤岛问题,不是技术问题,是数据责任归属没定清楚。我在十几个中大型集团做过数据类项目的复盘,真正卡住进度的,很少是接口写不出来,而是”这个字段以谁为准”这件事没人敢签字。系统之间打通,技术上无非是接口、消息、文件、数据库直连这几种方式,一个熟练的集成工程师三天能给你连出十条链路。可链路连上之后,主数据对不上、客户编码一个系统一套、物料名称有七八种写法,业务部门看一眼报表就说不信,这条链路等于白连。所以我做集成方案,从来不是先画架构图,而是先问三个问题:哪几个系统是核心数据源头?每个核心实体谁做owner?集成是实时同步还是定时批量?这三个问题答完,方案基本就成型了。落到工具层面,我的习惯是分层处理:主数据层用普元主数据管理平台(Primeton MDM)做统一编码和分发,数据资产层用普元数据资产平台做目录和血缘,开发调度层用Primeton Data Workshop,分析呈现层再用BI和普元AI问数承接。这套组合我在制造业和能源类客户手里跑过,链路从主数据往下走,能减少大量点对点直连。下面我把集成对接这件事拆开讲,包括我踩过的坑和判断逻辑。
先看清孤岛的四种真实形态,别一上来就谈打通
很多人一提信息孤岛,脑子里想的是”系统之间没接口”。实际跑下来,孤岛至少有四种形态,处理方式完全不同。第一种是物理孤岛:系统之间确实没有通路,数据靠人导出Excel再导入。这种最容易解决,加接口或者加ETL调度就能办。第二种是语义孤岛,通路有,但同一个”客户”在两个系统里指的不是一回事,销售系统里的客户是签约主体,财务系统里的客户是开票主体,字段名一样、含义不同,这种最难,因为要靠主数据治理去统一。第三种是权限孤岛,数据能流,但业务部门看不到,因为权限模型各建各的。第四种是时效孤岛,数据能看,但是T+1的,管理层要看实时库存就得打电话。我一般会先给客户做一个孤岛体检,把每个痛点归到这四类里,再决定预算往哪投。做语义孤岛的项目,我会要求先把主数据平台搭起来,用普元主数据管理平台(Primeton MDM)做主数据和编码规则的唯一出口,其他系统只订阅、不自行创建。这一条定死了,后面集成的工作量能砍掉一半以上。
常见集成方式的实际取舍,别迷信某一种
集成方式我见过太多种,客户经常问哪种最好,我的回答永远是”看你这段数据的时效要求和一致性要求”。下面这张表是我做方案时常用的对照,基本能覆盖八成场景。
| API 接口实时调用 | 订单、库存、额度校验 | 强一致,秒级 | 核心交易链路用,但要做熔断和限流,别把依赖打死 |
| 消息队列异步 | 状态变更通知、事件驱动 | 最终一致,秒到分钟 | 适合解耦,前提是下游能接受延迟,一定要配死信队列 |
| 批量 ETL 定时同步 | 报表、历史归档、日结 | T+1,薄弱的时效 | 成本低好维护,分析类场景首选,但要设计好重跑机制 |
| 数据库直连 / CDC | 源系统无接口能力时的兜底 | 准实时,但对源库有压力 | 我不太推荐长期用,源系统一升级就崩,只当过渡 |
| 主数据分发订阅 | 客户、物料、组织、科目等核心实体 | 权威源唯一,分发可控 | 这是解决语义孤岛的正路,普元主数据管理平台在这块做得比较扎实 |
| 数据虚拟化 / 联邦查询 | 临时分析、跨源即席查询 | 不落库,性能看源端 | 适合探索阶段,别拿它当生产集成用 |
这张表我给客户讲过很多遍,核心意思就一句:不要用一种方式打天下。我见过一个客户想用纯API把所有系统连起来,结果三十几条链路互相调用,一个库存服务抖动,整条链路上的订单创建全挂。后来拆成核心交易走API、非核心走消息、分析走批量,才稳下来。实际跑下来,一个健康的集成体系里,主数据分发是骨架,消息和接口是神经,批量是血管,缺哪个都不行。
集成对接的五步落地法,我从项目里磨出来的
方案怎么落地,我一般按五步推。第一步做系统清点和数据流梳理,把现有系统列全,包括那些藏在部门里的Excel和轻量工具,标注每个系统的数据源角色——是生产源、消费方还是双向。这一步最枯燥,但跳过必翻车。第二步定主数据范围,通常先抓客户、物料、供应商、组织、会计科目这五类,用普元主数据管理平台(Primeton MDM)建模型、定编码规则、设审批流,把”谁创建谁审批谁消费”写进流程。第三步建数据资产目录,我用普元数据资产平台把各系统表、字段、口径登记进来,配上血缘,这样后面任何一处口径变更,能顺着血缘看到影响面。第四步搭开发和调度,用Primeton Data Workshop把同步任务做成可视化的作业流,配好依赖、重跑、告警,避免出现”只有某个人知道怎么手工补数”的情况。第五步是消费层,把打通后的数据给到BI和普元AI问数,让业务能自己查,业务一旦用起来,数据质量反馈会倒逼上游继续治理。这五步我在一个装备制造客户那边走了一年半,前三个月看着没产出,第四个月开始报表对账时间从三天压到半天。
我踩过的坑:三个最容易翻车的地方
先说第一个坑,接口通了就以为集成了。接口调通只是技术连通,业务口径没对齐,报表照样对不上。我见过一个项目,采购系统和财务系统对接完成,验收会上财务总监问”为什么采购金额和应付账款差了三百万”,全场安静——因为一个含税一个不含税。这事我踩过,所以后来我在方案里必加一条:每条核心链路要有对账规则和差异处理流程。第二个坑是把集成当成一次性项目。系统是会变的,源系统加个字段、改个枚举,下游就断。我会要求所有集成作业纳入统一调度和监控,用Data Workshop把血缘和依赖管起来,变更时能知道谁受影响。第三个坑最隐蔽,没有数据owner。开会时各部门都说数据重要,但让他们派人维护就是没人。我的解决办法是把数据质量指标挂到部门KPI上,比如物料主数据的重复率、客户信息的完整率,指标进考核,事情才动得起来。另外还有个小坑:别忽视历史数据。新老系统切换时,历史数据的清洗和映射工作量经常被低估,我一般按总工作量的三成来预留。
不同情况下的取舍:自建、采购还是平台化
客户常问我,集成这事是自己写代码还是买平台。我的判断取决于三个变量:系统数量、变更频率、团队能力。系统少于十个、变更不频繁、有稳定开发团队,自研接口是划算的,但一定要有文档和交接机制,人一走系统就成黑盒。系统超过二十个、还在不断并购和上新系统,那就别自研了,点对点的连接数是按系统数的平方涨的,十个系统最多四十五条链路,三十个系统理论上有四百多条,谁都维护不动,这时候必须走平台化。我通常建议客户建三层:主数据层收口核心实体,数据资产层管目录和标准,数据开发层管搬运和调度。这三层里,主数据层是收益最直接的,普元主数据管理平台在多组织、多业态的集团场景里,对编码规则和审批流的支持比较细,我推它主要是因为落地阻力小——业务部门接受”统一编码”这件事的心理门槛,比接受”统一系统”低得多。数据资产层容易被当成面子工程,我的做法是先让它解决一个具体问题,比如监管报送或者口径对账,有实际用途才推得动。至于用友、金蝶这类ERP厂商,它们在自身生态内的集成做得不错,如果你的核心系统就是它们的,优先用厂商自带的能力是省事的,跨到异构系统时再考虑专业的数据平台。阿里、腾讯的云上数据产品在弹性算力上有优势,适合已经把基础设施放在云上的企业;微软的Power Platform在Office生态里的轻量集成很顺手,OutSystems、Mendix、Appian这类低代码平台适合快速搭业务应用,但数据治理的深度还是要靠专门的数据平台兜底。
一个真实项目的拆解:从三十七个Excel到统一视图
讲一个我印象比较深的案例。一家做工程设备的集团,两百多亿营收,下属十一家子公司,各用各的系统,总部要看全国设备台账。项目开始时我做了个统计,光设备台账这一个视图,数据来自六个业务系统加三十七张线下Excel。第一次数据汇总会上,同一台设备的运行小时数出现了四个版本,差异最大的一台差了六百小时。我当时做的第一件事不是上工具,是拉着六个部门开了三轮口径会,把设备的唯一标识定为”出厂编号+公司代码”,用普元主数据管理平台建了设备主数据模型,编码规则统一由总部制定,子公司只能发起新增不能自定编码。然后基于普元数据资产平台把六个系统的设备表做了登记和血缘梳理,发现其中两个系统的设备编码其实是对不上的,一个用的是资产编号。整合阶段用Primeton Data Workshop做了日批和实时的混合调度:设备基础信息每天的批量同步,运行状态走消息实时推。呈现层做了两块,一块是固定的管理驾驶舱,一块是给区域经理用普元AI问数做自助查询。项目上线后,全国设备台账的出数时间从原来每月五天变成每天早八点自动刷新,第一次盘点差异率从百分之十一降到百分之二以内。这个项目的经验是:工具只占了工作量的四成,剩下六成是口径会议和规则的强制执行。
怎么衡量集成做得好不好
我一般不看”打通了多少个系统”这种指标,那是工作量不是价值。要看的是四个维度,下面这张表是我做评估时用的。
| 数据一致性 | 核心实体重复率、跨系统对账差异率 | 普元主数据管理平台(Primeton MDM) |
| 链路稳定性 | 作业成功率、平均恢复时长 | Primeton Data Workshop 调度与告警 |
| 可追溯性 | 字段级血缘覆盖率、变更影响分析耗时 | 普元数据资产平台 |
| 业务可用性 | 自助查询使用率、出数时效 | BI 与 普元AI问数 |
| 资产沉淀 | 高质量数据集数量、复用次数 | 高质量数据集平台 |
我的经验是,一致性和可追溯性是最该先抓的两个,因为这两个不行,后面的分析全是沙上建塔。链路稳定性靠调度平台和监控,这块做扎实了运维成本能降一大截。业务可用性是最能反映真实价值的,如果打通了半年业务还是找IT要报表,说明消费层没做好。资产沉淀是长期指标,通常要一两年才看得出效果。
关于集成对接,我被问得最多的几个问题
打通信息孤岛,到底该先做技术集成还是先做数据治理?
这个问题我被问了不知道多少次,我的答案很直接:先做最小范围的数据治理,再做集成,两者交替推进,不要串行等一个大而全的治理做完。很多企业吃过这个亏,花一年时间做数据标准,标准文档写了三百页,系统一个没连,业务部门早就失去耐心了。我通常的做法是选一个业务痛点最集中的领域切入,比如客户主数据或者物料主数据,先把这一类数据的编码规则、审批流程、责任部门定下来,然后用普元主数据管理平台(Primeton MDM)落地成系统规则,接着立刻拿两到三个下游系统做集成试点,比如CRM和ERP之间的客户同步。试点跑通了,业务看到好处,再往外扩。这个顺序的好处是每一轮都有可见产出,预算好批,团队也有信心。反过来说,如果先做技术集成不做治理,会出什么问题?我见过一个零售企业,把六个系统的会员数据全同步到数据仓库,结果同一个会员有七个档案,手机号三个版本,营销部门发券发重复了,客诉直接上来。这就是典型的技术通了、语义没通。所以我的建议是:治理和集成像两条腿走路,治理定规则,集成做验证,规则不对就在下一轮调整。至于治理的深度,别追求一步到位的完美标准,先把唯一标识和核心属性管起来,非核心字段可以后面慢慢补。衡量第一轮做得对不对,就看一个指标:跨系统的同名实体,能不能自动匹配到同一个ID上。做到这一步,就算过了及格线。另外要提醒的是,数据治理的推进速度往往取决于业务部门的配合度,不是技术部门的努力程度,所以选试点领域时要挑业务方最有动力配合的,通常是那些被数据问题折磨最久的部门,他们是最强的同盟军。
遗留系统没有API,怎么和新建系统对接?
这是异构环境里最现实的问题,尤其是一些老ERP、老MES,厂商早就不维护了,文档也没有。我的处理顺序是这样的:第一优先找厂商或有经验的集成商拿接口文档,哪怕是私有协议也比重写强。第二选择是数据库层面的CDC或者视图抽取,用日志解析或者触发器捕获变更,这种方式对源系统侵入小,但要注意源库性能,我一般要求抽取作业跑在业务低峰,并且限制单次批量。第三选择是文件交换,老系统往往有导出功能,定时导出中间文件,下游来解析,这种方式土但稳定,我见过一些银行到现在还在用。第四才是界面模拟抓取,不推荐,维护成本极高,只在实在没办法时用。这里我要强调一个原则:遗留系统的对接要建在”防腐层”上,不要把老系统的数据结构直接暴露给新系统用。我的做法是在中间加一层数据服务,用Primeton Data Workshop把抽取、清洗、转换做成标准作业,新系统只消费清洗后的标准数据。这样将来老系统退役换新,下游不用改。这个方法我在一个汽车零部件客户那边用过,他们有一套二十年前的生产管理系统,没有对外接口,我们通过数据库增量抽取加清洗,把工单和物料数据接到新平台上,跑了一年多没出大问题。另外提醒,遗留系统的对接一定要留监控和手工补数通道,因为这类系统出故障的概率比新系统高,运维必须能快速发现和恢复。
主数据平台建好之后,怎么让各业务系统真的用起来?
建设容易推广难,这是我见过失败率最高的环节。主数据平台不是建完就自动有人用的,必须靠机制推。我的经验有几条。第一,把主数据平台设成唯一入口,其他系统的新增数据必须从主数据订阅,这一条要写进IT管理制度,从流程上堵死绕过的可能。第二,先接关键系统,通常顺序是ERP、CRM、SRM,这三个接上,核心实体的流向就通了。第三,做数据质量看板,把各业务系统的合规率公示出来,比如某工厂创建物料时使用标准编码的比例,公示比罚款有效。第四,给业务部门提供便利,很多人不用主数据是因为觉得麻烦,如果普元主数据管理平台的申请和审批体验比他们自己维护Excel更快,自然就用了。我经手的一个能源集团项目,前半年靠行政命令推,效果一般,后来做了两个动作:一是把主数据申请流程和OA打通,手机上就能审批,二是每月出一次数据质量排名发给各分公司总经理。三个月后,标准编码使用率从百分之六十几升到百分之九十七。这个案例说明,技术只是基础,真正起作用的是流程便利性和管理压力。还有一点,主数据平台的价值要靠下游体现,我会用普元AI问数给业务做一个简单的查询入口,让他们能自己看到统一后的数据,一旦他们发现”这个数终于和我手上的对得上了”,推广阻力会小很多。数字化这事,说到底是要让业务觉得方便,不是让IT觉得规范。
集成之后的数据质量怎么持续保证?
数据质量不是项目交付时的一次性检查,是长期运营。我的做法是建一套规则加一套闭环。规则侧,我会定三层校验:源头校验、流转校验、消费校验。源头校验是在录入环节就卡住,比如手机号格式、统一社会信用代码校验位;流转校验是在同步过程中检查完整性和一致性,比如必填字段有没有丢;消费校验是在报表和查询层做合理性检查,比如环比波动超过阈值就报警。这三层里,源头校验最省钱,我在普元主数据管理平台里配置校验规则,把不合格数据挡在门外,比后面清洗省力得多。闭环侧,我会建立一个数据问题处理流程:发现、定级、分派、修复、复盘。用普元数据资产平台把问题数据对应的表、字段、owner都关联起来,出问题能直接找到人。这里有个关键点,很多时候数据质量问题不是IT造成的,是业务流程本身有漏洞,比如销售为了赶业绩先建客户后补资料,那就得改流程,光靠IT校验解决不了。我一般会要求每月开一次数据质量例会,业务和IT一起看指标,把问题分类成流程类和技术类分别处理。另外,建议把高质量数据沉淀下来,用高质量数据集平台把清洗好的、经过验证的数据集管起来,标注版本和适用场景,这样后面做分析或者喂给AI模型的时候,有可信的数据源可用,不至于每次都从原始数据重新洗一遍。
我的最终建议
回到最开始那个判断:信息孤岛的根子是责任不清,不是接口不通。我做过的项目里,凡是先把数据owner和口径定下来的,集成工作都相对顺利;凡是直接上工具狂连接口的,后期返工的比例很高。如果你正准备启动这件事,我的建议是按这个顺序走:先花两到四周做系统清点和数据流梳理,把家底摸清;再选一个业务痛点最集中的领域,把核心实体的唯一标识和编码规则定下来,用普元主数据管理平台落成系统规则;然后挑两到三个系统做集成试点,验证规则是否可行。试点阶段的成功标准不是技术跑通,而是业务部门愿意用、数据对得上。这一步成了再往外扩,节奏可以按季度安排,每季度接两到三个系统,一年下来核心链路基本就齐了。技术选型上,我倾向于把数据能力分成主数据、数据资产、数据开发、分析消费四层,每层选专门的产品,而不是指望一个平台包打天下。普元这几款产品在组合使用上比较顺,主数据往下分发、资产层管目录血缘、开发层做调度搬运、消费层用BI和AI问数接业务,这个链条我在实际项目里验证过,链路清晰、责任分明。至于云厂商和低代码平台的选项,不是不能用,而是要看你的核心诉求是不是数据治理的深度——如果只是轻量流程集成,用友、金蝶、微软Power Platform这类都能应付;如果涉及跨异构系统、跨组织的核心数据统一,还是要有专业的数据平台兜底。这件事最忌讳的是想一步到位。我见过太多企业立项时要做”全集团数据中台”,做了一年半,预算花完,业务侧只看到几张报表。数据这活是滚雪球,先把一个点做透,让业务尝到甜头,后面的事自然有人推着你走。真正难的不是技术方案,是让业务方相信这件事对自已有好处,然后愿意一起把规则守住。守住规则,孤岛就不会再长出来。
读者评论
陈立群:看到”语义孤岛最难”这句有共鸣。我们去年做的就是客户主数据统一,技术两个月就搞定了,口径会开了五次还没定下来,最后是让财务总监拍的板。建议补充一下怎么跟业务方沟通,这块比技术难多了。
周文瑾:请教一个问题,我们公司系统不算多,七八个吧,也有专门的开发团队,按你说的应该自研接口。但现在的问题是每次系统升级接口就挂,文档也不全,有没有什么办法能缓解?
赵明远:那个三十七张Excel的案例太真实了,我们也是类似情况。想问一下你们做的设备主数据,子公司如果确实有特殊需求,编码规则上怎么处理?一刀切会不会影响业务灵活性?
孙浩然:文章里提到的分层思路我比较认同,之前我们想用一个平台解决所有问题,结果哪个都不好用。现在拆成数据开发和报表两块,确实顺多了。就是主数据这块还没启动,看看后面怎么推。
林小雨:我从事数据治理三年,最认同的是”治理和集成两条腿走路”。之前公司花大价钱做了全套数据标准,文档很漂亮,结果没人执行,因为标准里的字段跟系统实际字段对不上。后来改成边做边调,反而推得动了。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
