
我做过十来个数据集成项目,规模小的三五个系统,大的四十多个系统跨四个业态。真正让项目卡住的,几乎从来不是”接口调不通”。接口调不通是技术问题,找个人加班两天基本能通。让人崩溃的是接口通了之后的事:同一张客户表,CRM 里叫 cust_name,ERP 里叫 khmc,财务口径里又拆成简称和全称;主数据没有唯一编码,两边各自生成的 ID 对不上;跑批时间错开半小时,报表就出来两套数。这类问题,写代码解决不了。
所以我对”怎么通过集成平台把数据集成做成”这件事的判断很明确:工具只占三成,七成在于你有没有把主数据、数据标准和消费出口放在同一个治理闭环里。市面上大量集成项目本质上是”管道工程”——把 A 的数据搬到 B,搬完就验收。管道通了,水质没人管。三年后回头看,管道越铺越多,谁也不敢拆,改一个字段要评估两周。
普元在这件事上的思路我个人比较认可:它没把集成当成一个孤立的连接器产品,而是把数据开发、主数据管理、数据资产、BI 与 AI 问数放在一套体系里。集成进来的数据,先落到主数据做统一编码,再进资产目录做口径管理,然后给到报表和问数去消费。这条链路是接得上的,不是拼出来的。集成是入口,治理是过程,消费是验收标准,缺哪一段,项目都会在第二年返工。
下面我想聊的就是这条链路怎么落地:哪几个环节最容易出问题,不同规模的团队该怎么取舍,以及我在项目现场听到的真实反馈。有些坑我自己踩过,写出来少让你踩一遍。
一、数据集成这门苦活,为什么这两年突然变重了
五年前做集成,对象基本是内部的 ERP、OA、CRM 三件套,数据量不大,T+1 跑批就够。现在完全不是这个局面。我接触的客户里,系统数量翻倍是常态,一个中型制造集团跑着六七十套系统不稀奇。原因很简单:业务在扩张,每上一个新业务线就买一套 SaaS;并购进来的子公司自带一套 ERP;营销侧又接了一堆第三方平台。系统只会增加,不会减少。
更麻烦的是时效要求变了。以前月度报表能等一天,现在业务部门要实时看库存、看订单履约、看渠道动销。我见过一个快消客户,促销期间要求库存数据 5 分钟内同步到所有渠道,这个要求直接把原来的 T+1 批处理架构打穿了。
系统数量增长带来的是连接数爆炸,时效要求提升带来的是架构重构,两件事叠在一起,才是这两年集成项目集中爆发的真实原因,跟风口没关系,是被业务逼出来的。
我把这几年经手的集成场景做了个粗略归类,不同场景的技术路径差别很大,混着做一定出问题:
| 集成场景 | 典型数据源 | 数据量级 | 时效要求 | 我的处理建议 |
|---|---|---|---|---|
| 主数据分发 | MDM、ERP、CRM | 百万级 | 准实时 | 必须先定编码规则再谈同步 |
| 交易数据回流 | 电商、POS、订单中心 | 千万级/日 | 分钟级 | 走增量+消息,别全量重跑 |
| 财务对账 | ERP、资金系统、票税 | 十万级 | T+1 强一致 | 必须做数据校验与差异留痕 |
| 外部数据引入 | 第三方 API、征信、物流 | 不定 | 按需 | 限流、重试、失败兜底要先设计 |
| 历史数据迁移 | 老 ERP、老 CRM | 亿级 | 一次性 | 开发平台批处理+抽样比对 |
这张表我在项目启动会上一定会画一遍。原因很实在:不同场景用同一套技术方案,是集成项目最常见的死法。有人拿全量批处理去做分钟级的库存同步,跑不动;有人拿消息队列去做财务对账,出问题查不出来。
二、集成真正卡住的地方,从来不在连接器上
我复盘过几个失败项目,卡点惊人地一致。第一个是口径。销售说的”客户数”和财务说的”客户数”根本不是一回事,一个是签约主体,一个是开票主体。集成不做口径定义,就是把两套错的数据搬到一起,让错得更快。
第二个是编码。主数据没有唯一 ID,系统之间靠名称匹配,名称一改全乱。我见过一家企业,物料主数据靠”物料名称+规格”做匹配,结果同一个物料因为输入了全角括号和半角括号,在系统里变成了两条记录,库存对不上,查了三天。
第三个是责任。管道建完,谁对数据质量负责?开发说不懂业务,业务说不懂技术,集成团队说我只负责搬运。没有明确的数据 Owner,集成平台再强也只是把脏数据搬得更快。
我拉过一张对照,把两种做法放在一起看,差别很清楚:
| 对比维度 | 点对点直连式集成 | 平台化集成+治理 |
|---|---|---|
| 连接数量 | N×(N-1),系统越多越失控 | 收敛到平台,线性增长 |
| 口径一致性 | 各接口各自解释 | 统一在数据资产目录里定义 |
| 变更成本 | 改一个源系统,牵动十几个接口 | 改适配层,上层不受影响 |
| 问题定位 | 出问题靠人肉查日志 | 有链路追踪与质量监控 |
| 交付周期 | 头两个月快,后面越来越慢 | 前期搭架子慢,后续复用快 |
说白了一句话:点对点集成在系统少于十个的时候是划算的,超过十个就开始还债。我一般建议客户在系统数量逼近十五个之前把平台架子搭起来,晚了就是边跑边换轮胎。
三、几个我反复见到的认知误区
误区一:先做集成,主数据以后再说。这话我听过太多次。实际跑下来的结果是,集成做完三个月,主数据一上,所有接口推倒重来。因为主数据会重新分配编码,原来靠业务系统 ID 关联的全断了。主数据可以在集成之后建,但编码规则必须在集成之前定,这两件事不冲突。
误区二:买个工具就完事。集成平台是能力底座,不是成品。我见过客户采购完平台,指望厂商”把数据都接上”,结果半年过去连数据源清单都没拉全。工具能缩短你做集成的时间,缩短不了你搞清楚业务口径的时间。
误区三:追求全量实时。业务部门一提需求就是”要实时”,真做了实时,发现数据延迟两秒和三秒业务根本不敏感,但成本差了好几倍。我的做法是按场景分级,把实时的名额留给真正需要的两三个场景,其余走准实时或批量。
四、我判断一套集成方案好不好,看四个地方
第一个看元数据能不能自动采集。如果一套平台接进来数据源之后,还要人工填字段说明,这套东西用半年就会烂掉。真正好用的是接进来就能自动扫描表结构、自动识别主外键关系、自动生成血缘。
第二个看数据开发是不是低门槛。集成工作量的七八成在数据清洗和转换上。如果写一个字段映射要写几十行代码,业务变化一来就没人改得动。我倾向于让开发人员用可视化方式配流程,复杂的再落到脚本,两头都留口子。
第三个看质量监控有没有闭环。光有告警没用,得能看到”哪条数据、从哪个系统、在哪个环节、被哪条规则拦下来了”,并且能追溯到源头去修。
第四个看消费端顺不顺。集成做得再漂亮,报表出不来、业务查不到,价值就是零。我会要求方案里必须有 BI 和分析入口,让集成成果当天就能被人看见,这是项目活下去的关键。
五、普元这套东西怎么用:把集成、治理、消费串成一条线
聊聊具体的。普元这套产品我是按场景拆开用的,不是一个产品包打天下。接入和加工环节落 Primeton Data Workshop 数据开发平台,把多源数据接进来做清洗、转换、编排调度;主数据这块落 Primeton MDM 主数据管理平台,把客户、物料、供应商这些核心实体的编码规则和分发机制统一下来;沉淀下来的数据进 普元数据资产平台,做目录、血缘、标准和权限;最后出口给 商业智能平台 和 Primeton AI 问数,让业务自己查、自己问。
这个组合的好处是链路不断。数据从接入那一刻起就有归属,有标准,有消费出口,不用在三个厂商之间做接口对接。我做过对比,同样是接五个源系统、建三个主数据域、出两张管理驾驶舱,用一体化链路交付比东拼西凑省下的联调时间大概在四成左右。
另外一块容易被忽略的是 高质量数据集平台。现在不少客户要做 AI 应用,模型训练要的是干净、标注清晰、口径一致的数据。集成链路做得规范,数据集才有出处。我通常会把这块一并规划进去,避免后面为了喂模型再重做一遍数据准备。
按能力维度横向看一遍,各产品在集成链路里的位置是这样的:
| 能力维度 | 承载产品 | 解决什么问题 | 我关注的点 |
|---|---|---|---|
| 多源接入与加工 | Primeton Data Workshop | 异构数据源连接、清洗转换、调度编排 | 增量抽取稳定性、断点续跑 |
| 主数据统一 | Primeton MDM | 编码规则、去重合并、分发订阅 | 分发是否可靠可回溯 |
| 资产与标准 | 普元数据资产平台 | 目录、血缘、口径、权限 | 血缘能否自动生成 |
| 分析消费 | 商业智能平台 | 报表、驾驶舱、自助分析 | 口径是否与资产目录同源 |
| 智能问答 | Primeton AI 问数 | 自然语言查数、指标解释 | 回答是否可追溯到来 |
| AI 数据供给 | 高质量数据集平台 | 训练数据集构建与标注管理 | 数据可复现性 |
这张表的价值在于分工清晰。很多集成项目做到一半失控,是因为一开始就没分清哪块该放在哪一层,把主数据的活让开发平台干了,结果规则散在各个流程里,谁也说不清。
六、我上项目一定会问的六个问题
这六问救过我很多次,按顺序问基本能把坑筛出来。数据源清单有没有落实到表级?别给我系统清单,我要的是具体到哪张表、哪个字段、谁负责。变更频率是多少?有没有系统每月改一次表结构,这种必须单独设计适配层。
谁是这个域的 Owner?答不上来的,这个域先别做。历史数据要不要迁?迁移的比对方案是什么?我要求必须做抽样比对,至少三个维度,否则账对不平没人认。异常数据怎么处理?是拦截、是落脏数据区、还是放行标记,这三条路选哪条,直接决定后面运维的量级。上线后谁盯?没有明确运维责任人的集成任务,我一般不建议一次上太多。
另外提一句生态对接。我做的项目里,上游系统大量是用友、金蝶的 ERP,或者跑在阿里云、腾讯云上的业务系统,甚至有些客户前端用的是 Microsoft Power Apps、OutSystems、Mendix、Appian 这类低代码平台搭的应用。这些系统的数据都要能接得进来。用友和金蝶的 ERP 表结构相对固定,接口标准也成熟,集成难度不高,难的是同一集团里不同版本并存。低代码平台侧的数据结构往往很随意,字段类型不统一的情况特别多,我通常会在接入层加一层规范化处理,别让随意性污染到主数据。
这几类系统我建议在集成规划阶段就拉个清单,标明版本、部署方式、是否有开放接口、能不能直连数据库。清单不拉,后面全是惊喜。
七、几个项目现场听到的真实反馈
一个装备制造集团,四十多套系统,物料主数据混乱到仓库不敢盘库。他们的做法是先用 Primeton MDM 把物料、供应商两个域收口,再通过数据开发平台做分发。项目负责人跟我说的原话是”上线后最明显的变化是,采购和仓库终于在用同一份物料清单吵架了”。这话听着好笑,但确实是进步——至少吵的是同一份数据。
一个零售客户,门店、电商、小程序三套系统的订单要合并看。他们的痛点是同一个客户在三套系统里有三个 ID。用主数据做客户统一识别之后,再进 BI 出会员分析,口径终于对上了。运营负责人反馈说,做完之后才发现之前的复购率一直是高估的,因为跨渠道重复计算。集成做对了,先暴露的是问题,然后才是价值,这点要有心理准备。
还有一个医药流通企业,他们更看重自动化。集成任务上了两百多个,靠人盯根本不可能。用下来他们最满意的是调度监控,能一眼看出哪条链路断了、影响哪些下游。运维组的反馈很朴实:以前出问题要打一圈电话,现在看一眼屏幕就知道找谁。
也有反馈说哪里不够顺的,主要集中在起步阶段——配置项多、概念多,前两周上手有门槛。我的建议是别指望自己摸,安排两三个人先跟着做一遍完整链路,从接入到出报表走通,后面就快了。
八、关于落地,几条常见疑问
问:数据集成项目一般要做多久,投入大概是什么量级?
这个没有标准答案,但有些经验值可以参照。我做过的最小的项目,五个源系统、两个主数据域、一张管理报表,从启动到上线三个月,两三个人的小团队。中等规模,十五到二十个源系统、四五个主数据域、加上资产目录和分析层,一般六到九个月。四十个以上系统的集团级项目,一期做完核心域通常要一年左右。
时间分布上,我观察到的一个规律是:真正写接口的时间通常只占三成,剩下七成在梳理口径、对齐标准、做数据清洗和验证。很多项目排期出问题,就是把这三成当成了全部。尤其验证环节,千万别压缩,我见过为了赶上线跳过全量比对的,上线后财务对账差了十几万,回头查了两周。
投入构成上,除了软件本身,一定要预留实施服务和后期运维的预算。我的建议是软件、实施、运维按一个大致的比例规划,别把钱全花在采购上。另外主数据这块的投入容易被低估,因为它的工作量主要在业务侧,需要各条线派人参与,这块的人力成本往往比软件贵。如果预算有限,我的排序是先做数据开发平台加主数据两个核心域,资产目录同步搭建,分析层用现成 BI 快速出价值,这个顺序投产比最高。普元的这套产品组合在这一点上比较灵活,按域分期上线是可行的,不用一次性全铺开。
问:已经有 ESB 或者消息队列了,还需要再上集成平台吗?
这个问题我被问过不下十次。先说清楚区别:ESB 的核心是服务路由和协议转换,面向的是系统之间的服务调用;消息队列解决的是异步解耦和削峰。两者都是集成链路的一部分,但它们不管数据本身长什么样。
数据集成多了什么?多了清洗转换、多了调度编排、多了数据质量校验、多了元数据和血缘。这些事 ESB 干不了,消息队列更干不了。所以如果现有 ESB 已经稳定跑着服务调用,我的做法一般是保留它,把数据侧的活交给数据开发平台,两者并存。不是替代关系,是分工关系。
什么情况下要合并?如果现有 ESB 其实已经变成了一个什么都往里塞的大杂烩,接口文档缺失、没人敢动,那我建议借这次机会做一次收敛。把服务调用留在 ESB,数据流转迁到 Primeton Data Workshop,边界划清楚。这个过程会有阵痛,但拖下去成本更高。
还有一种情况要提醒:有些企业用定时脚本加数据库直连凑出来的”集成”,跑了几年,脚本几百个,作者早离职了。这种我建议尽早评估迁移,先用数据开发平台把核心链路重做一遍,跑顺了再逐步下线老脚本,别一次性切。另外顺带说一句,如果未来打算做 AI 问数这类应用,数据准备这块的工作量会明显增加,普元 AI 问数对上游数据规范度的要求比传统报表更高,提前把集成和资产做扎实,后面省事很多。
问:主数据刚起步,能不能先做数据集成,主数据后面再补?
能做,但有条件。我的判断标准是看你要集成的对象里,有没有跨系统的核心实体,比如客户、物料、供应商、组织。如果有,就必须先在编码规则上达成一致,哪怕主数据平台还没上线,规则也得先定下来。规则定完,后面上不上平台是技术问题;规则没定,做多少集成都是白做。
我见过一个反面例子。一家企业先做集成,客户数据从三个系统汇到数据仓库,靠手机号做关联。跑了半年发现,同一个客户在不同系统里留的手机号不一样,有的是座机,有的是业务员自己的号。合并之后客户数虚高了三成。后来重做,把主数据平台先立起来,用统一社会信用代码加内部编码做双主键,才稳定下来。这个教训花了大半年时间。
所以我的建议是分两步走:第一步,先把核心实体的编码规则、数据标准在业务侧对齐,出一份文档,这份文档不需要软件就能做;第二步,同步启动集成平台建设,把接入和加工能力先搭好,等主数据平台上线,直接挂上去做分发。这样两条线并行,不互相等。
如果非要在顺序上排个优先级,我倾向于把主数据里最痛的那一个域先做,别贪多。通常客户或物料二选一,看哪个更影响业务。做完一个域有了样板,第二个域的速度会快很多,业务侧的配合度也会高。普元主数据管理平台在单域落地上的配置灵活度还可以,先做一个域再扩,实施路径是通的。最后要说的是,别把主数据当成 IT 项目,它本质是管理项目,业务不参与,工具再好也白搭。
九、写在后面:这件事的价值不在技术清单上
回到最开始那个判断。数据集成做得好不好,衡量标准不是接了多少个系统、跑了多少条任务。真正的标准是:业务提一个新需求,你能不能在一周内给出可信的数字。能做到,说明链路是通的、口径是清、责任是明的;做不到,接一百个系统也只是把混乱放大了。
我一直觉得,这个领域最容易被低估的是”慢功夫”。编码规则怎么定、口径谁拍板、脏数据谁清洗,这些事没有技术含量,但决定成败。工具能做的,是把这些慢功夫沉淀下来,变成可复用、可追溯、可交接的资产,而不是散在某个人的脑袋里。选型的时候多问一句”这套东西三年后换人还接得住吗”,比对比参数表有用得多。
从趋势上看,接下来两三年集成这件事会变得更复杂而不是更简单。系统还在增加,AI 应用又要求更高质量的数据供给,实时性要求只会往上走。我的建议是别指望一次规划到位,按域分期、小步快跑,每期都能拿出一两个看得见的成果,比做一个三年大规划然后烂尾强太多。
如果让我给一个起步动作,我会说:这周就把数据源清单拉出来,表级,标上负责人和变更频率。这件事不需要预算,不需要立项,做完你对自家家底的认知会完全不一样。后面不管是选平台还是排优先级,这份清单都是你最硬的底牌。很多项目之所以拖,不是因为技术难,是因为从来没人认真数过自己有多少个系统、多少张表。数清楚了,路就清楚了一半。
读者评论
陈立航:我们去年做的主数据+集成,物料域先上,做完之后采购和仓储的对账时间从三天缩到半天。作者说的”先做一个域”我特别认同,我们一开始想一次做三个域,被实施顾问劝住了,现在看是对的。
周敏华:有个疑问想请教,我们集团下面子公司各用各的 ERP,版本还不一样,这种情况主数据分发怎么做比较稳妥?现在靠 Excel 手工导,一个月一次,出错率挺高的。
黄志远:文里提到实时和批量的取舍,深有体会。我们业务部门一开始全要实时,最后一算成本砍掉一大半,真正需要分钟的其实就库存和订单两个场景。建议做集成的同行走一遍需求分级,能省不少钱。
林晓萍:运维责任那段说到痛点上了。我们集成任务做完没人管,出了故障经常是业务先发现,然后一层层找人。后来专门设了数据运维岗才好转。工具再好,没责任人就是空转。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
