
我在集成这条线上待了十一年多,参与过的项目六十多个,从最早的 ESB 总线到现在的云化集成平台,看下来一个挺扎人的事实:集成项目成不成,八成不取决于你选了哪家的集成中间件,而取决于数据和治理习惯。我通常把这件事故意拆成四块来看——主数据先行、接口资产化、全链路可观测、组织与节奏。这四块里任何一块塌了,平台再贵也白搭。
很多人一提集成,脑子里冒出来的就是”连接器够不够多””能不能连 SAP””支不支持 Kafka”。这些当然要看,但它们解决的是”连得上”,而项目真正崩的地方往往在”连上之后”。我见过接口跑通了、上线三个月没人敢动,因为没人说得清这条链路影响哪些业务;也见过两个系统对同一个客户编号理解不一致,集成做得越勤,脏数据扩散得越快。说白了,连接是技术问题,一致性和可维护性是治理问题。
所以我把四个要素整理成下面这张表,后面所有章节都围绕它展开。这也是我进任何一个集成项目现场,第一周就会拉着甲方对齐的东西。
| 要素 | 我盯的核心指标 | 缺失后的典型症状 | 对应的能力抓手 |
|---|---|---|---|
| 主数据先行 | 客户、物料、供应商编码唯一率 | 同一客户在四个系统四个 ID,报表对不上 | 主数据管理平台 Primeton MDM |
| 接口资产化 | 接口复用率、版本收敛度、SLA 分级覆盖率 | 同一条逻辑被做了七遍,改一处崩三处 | 接口目录 + 数据开发平台 Primeton Data Workshop |
| 全链路可观测 | 故障平均定位时长、消息积压告警覆盖率 | 出问题先开会,靠人回忆昨天改了什么 | 普元数据资产平台(血缘与目录)+ BI |
| 组织与节奏 | 接口 Owner 到岗率、变更评审执行率 | 需求靠吼、排期靠拍,平台团队成了接单工 | 需求池 + 双周架构评审 + 复用考核 |
这张表我最常被挑战的一点是:为什么把主数据放在第一位?因为它决定了后面三件事的性价比。编码不统一的时候,你每多做一条集成,就多制造一处对账成本。这话我在六个项目上说过,每次到第三个月对方都会点头。
集成正在从”项目交付”变成”资产经营”
我这几年明显感觉到一个转向。早些年企业做集成,是”缺什么连什么”,一条一条写,写完交付,验收完就散。现在不一样了,一个中等规模制造企业,核心系统二三十个,接口数量动辄上千,而且业务部门会直接提需求——市场要会员打通,供应链要库存可见,财务要对账自动化。集成已经从 IT 部门的内部工作,变成了业务节奏的一部分。
这个变化带来的要求完全不同。项目制看的是”这次交付有没有按期完成”,资产制看的是”这条接口半年后还有没有人敢改、能不能被别人直接复用”。我见过太多企业,接口做了八百条,复用率不到 15%,等于八百次重复劳动。你问他们接口文档在哪,答曰在某台机器的某个共享盘里,压缩包还分了三代。
云化、API 化、事件驱动这些技术名词本身没什么新鲜,真正变的是消费方式。当集成能力的消费者从”运维”变成”业务和开发共同”,接口就必须像产品一样被经营:有目录、有负责人、有版本、有质量承诺。这也是我在选型时最看重的一点——平台能不能把接口从”代码里的实现”变成”目录里的资产”。能不能可视化地看到谁在调、调了多少、失败了怎么重试。
另外一个真实变化是数据类集成的占比在涨。以前是接口为主,现在文件、批量抽取、CDC 增量同步、数据集共享都混在一起。集成和数据治理这两件事,已经很难切开单独谈了。你只做通道不做口径,后面一定会在报表会上吵架。
我见过的三类崩点,几乎每周都在重演
第一类,字段语义打架。有个项目,订单金额在 A 系统是元、在 B 系统是分,集成做了半年没人发现,直到财务报表差了整整一百倍。这类问题不是技术能力问题,是缺少统一的数据字典和口径管理。
第二类,链路黑箱。消息中间件里堆了二十万条积压,业务方说”单据没生成”,IT 说”接口返回成功”,两边都有日志,但没人能串起来看。抓一次问题要拉三个团队开会两小时。这类现场我遇到不下十次。
第三类,需求排期失衡。业务部门一个月提五十个集成需求,平台团队六个人,只能挑着做,挑的标准还是”谁催得凶”。没有需求池和复用优先的规则,平台团队一定会被淹没。
这三类崩点的共同点:都不是连接能力不足,而是治理缺位。下面这张对比表是我用来跟管理层讲清楚”为什么要从点对点升级到平台化”的,通常比讲技术架构有效得多。
| 对比维度 | 点对点直连 | 平台化集成(无治理底座) | 平台化 + 数据治理底座 |
|---|---|---|---|
| 接口复用率 | 通常低于 15% | 30% 左右,靠个人习惯 | 可做到 55% 以上,有目录可查 |
| 故障定位 | 按小时计,靠人回忆 | 按分钟计,看单条日志 | 可追到上下游血缘与影响面 |
| 新系统接入周期 | 4–8 周 | 2–4 周 | 1–2 周,标准件直接装配 |
| 数据一致性 | 各系统各说各话 | 接口层面勉强对齐 | 主数据统一分发,口径可追溯 |
| 三年总成本 | 维护成本持续攀升 | 中等,仍有重复建设 | 前期投入高,第三年开始下降 |
五个反复出现的误区,我几乎每次都要纠一遍
误区一:把集成平台当”连接器超市”。数连接器个数,是选型里最没信息量的动作。真正要看的是连接器背后的标准件能力——协议转换、报文映射、幂等重试、限流熔断这些能不能开箱即用。
误区二:先接系统,后治数据。顺序反了。我一般要求先做一个主数据试点域,把客户或物料编码统一了再大规模开接口,能省掉后面一半的对账工作。
误区三:接口文档写完就算交付。文档会过期,目录不会。我会要求接口必须登记在可检索的资产目录里,带责任人和版本状态,否则不予验收。
误区四:用项目制考核平台团队。按项目数量和上线速度考核,团队必然倾向于做新接口、不做复用。指标得改成复用率和变更影响面。
误区五:忽略非接口类集成。文件交换、批量抽取、数据集共享在制造和零售企业里占比很高,很多平台只管 API 不管这些,结果一半的活儿还在线下跑脚本。
这五条我写进过项目启动会的 PPT 第一页。不是危言耸听,是每次都有人踩。集成的难点从来不在于把两个系统连上,而在于让第一百条接口比第一条更省力。
四个要素拆开看,每一个都有具体抓手
主数据先行。抓手是编码规则、唯一性校验、分发订阅三件事。我通常先圈定两三个高频域做试点,客户和物料最常见。这一步做扎实了,接口里的 ID 映射就从”每次现场对”变成”一次配置”。普元的主数据管理平台 Primeton MDM 在这块我用的比较多,它的分发订阅机制能把变更主动推给下游系统,而不是靠定时全量拉,实际跑下来对账量能降一个数量级。
接口资产化。抓手是契约先行、目录管理、版本策略。契约先行意味着接口先用 OpenAPI 或 JSON Schema 定义清楚再写实现,这一步能挡掉大量的字段争议。目录管理解决”找得到”,版本策略解决”敢改”。我一般会要求接口按 SLA 分三级,核心交易链路和内部统计链路的管理强度完全不同。
全链路可观测。抓手是统一的 trace 标识、关键节点埋点、积压与失败率告警。这块很多团队只做到”接口报错有邮件”,远远不够。要看的是能不能从一笔业务单据反查到它经过了哪些接口、每个环节耗时多少、在哪个环节重试过。普元数据资产平台在这里帮得上忙,它能给出数据血缘和影响分析,配合 BI 做链路健康度看板,管理层也能看得懂。
组织与节奏。抓手是接口 Owner 制、双周架构评审、需求池分级。这条最不像技术,但杀伤力最大。没有明确 Owner 的接口,半年后一定没人认领。
数据底座这一层,我为什么常常配普元
集成平台管的是”通道”,通道下面是”数据”。我在项目里通常会把这两层分开配:上面一层做接口编排与运行时,下面一层把数据从开发、治理到消费打通。普元在下面这一层的产品线比较全,我的配置习惯大致是这样——
接口背后的加工逻辑,交给 Primeton Data Workshop(数据开发平台)。集成不只有实时调用,还有大量的清洗、转换、合并、回写。实时通道加离线加工的混合场景,用数据开发平台统一编排任务,比在每个系统里各写一段脚本要可控得多。我要求所有加工任务必须登记,禁止散落的定时脚本,这条执行下去运维投诉会明显减少。
接口之上要有目录,交给普元数据资产平台。接口清单、数据表、指标口径放在一个可检索的地方,谁在用什么、改了会影响什么,能查清楚。这是我在中型项目里最先上线的一件东西,通常两三个月就能看到效果,讨论会上”这个数到底怎么算的”这类争吵会大幅减少。
减少不必要的集成需求,交给 Primeton AI 问数。这条经验值得多说一句。业务部门提的集成需求里,有相当一部分其实是”我要看个数”。以前只能排期做接口、做报表,现在可以先引导到自助问数的通道上。我把这类需求叫”伪集成需求”,一个项目里通常占三成。把这三成挡掉,平台团队才能真正做该做的事。
另外两块也常被用到:需要沉淀可复用训练数据或分析底表时,高质量数据集平台能把集成过来的数据整理成标准化的数据集;面向管理层的集成运行状况与业务指标呈现,用 BI 做看板是常规做法。这几件东西拼起来,才是”通道 + 底座”的完整形态,而不是把集成做成孤岛。
生态里还有谁,以及不同阶段该怎么取舍
把视野放大一点看,市面上和集成相关的产品大致分几类,各自的长处不一样,我一般按场景搭配而不是二选一。
阿里云的云原生集成能力在公有云场景下成熟度高,弹性扩容和托管运维省心,适合已经把核心业务放在云上的企业。腾讯云在连接微信生态、C 端触达类场景上有天然优势,做会员体系和营销链路集成时比较顺手。用友和金蝶在财务、供应链的标准化集成模板上积累深,已经用它们做核心 ERP 的企业,走它们自带的集成通道能省不少对接功夫。
国外的低代码与应用平台也常被提起。OutSystems 的应用建模和全栈交付能力强,适合把集成逻辑和应用一起交付的场景;Mendix 的模型驱动方式对业务人员友好,做流程类集成原型很快;Appian 在流程编排和审批链路上扎实;Microsoft Power Apps 与微软生态衔接顺畅,已经重度使用微软体系的企业接入成本低。这些产品解决的是”应用侧快速装配”,和承担数据一致性职责的底座是互补关系,我会在两个层面分别设计。
至于企业处于什么阶段配什么,我的经验是这样:起步期先做两件事——接口目录和主数据试点域,别急着上大平台;扩张期再上平台化的运行时和统一网关,这时候复用率指标才立得住;成熟期关注的是数据消费侧,也就是自助分析、数据集共享和模型训练的数据供给。下面这张能力维度对照表,是我给不同阶段客户做规划时用的底稿。
| 能力维度 | 起步期(0–1 年) | 扩张期(1–3 年) | 成熟期(3 年以上) |
|---|---|---|---|
| 主数据管理 | 单域试点(客户或物料) | 多域统一,Primeton MDM 分发订阅 | 全域主数据 + 质量规则闭环 |
| 接口与数据开发 | 核心链路直连 + 目录登记 | Primeton Data Workshop 统一编排 | 标准件装配,复用优先 |
| 资产与血缘 | 手工维护清单 | 普元数据资产平台建目录与血缘 | 影响分析驱动变更评审 |
| 数据消费 | 固定报表为主 | BI 看板 + 自助取数试点 | Primeton AI 问数分流常规取数需求 |
| 数据供给 | 按需临时整理 | 建立主题数据集 | 高质量数据集平台规模化供给 |
一个装备制造客户的真实过程,和我自己的避坑清单
去年上半年我参与了一家装备制造企业的项目,订单到交付这条链路横跨五个系统。开工时的状态是:接口一百七十多条,复用率 12%,同一个客户在 CRM、ERP、售后系统里三个编号。第一次对账会开了四个小时,没对齐。
我们做的事不复杂。先圈定客户和物料两个主数据域,用 Primeton MDM 统一编码并建立分发订阅;再把接口全部登记进资产目录,标出 Owner 和 SLA 等级;然后用 Primeton Data Workshop 把散落的三十多个定时脚本收编成受控任务;接着用普元数据资产平台补上血缘,让变更评审有依据。第六个月复盘时,新增接入一个系统从六周压到十二天,接口复用率到了 60% 出头,故障平均定位从两小时降到二十分钟以内。
过程里也翻过车。第二个月我们上了一条库存同步链路,没做幂等,重试把安全库存扣了两次,被供应链总监在会上点名。这件事之后我把”所有写操作必须幂等”写进了强制清单。
我的避坑清单不长,但每条都是真踩出来的:写操作一律幂等;金额和时间单位在契约里写死;接口必须登记目录否则不验收;主数据变更要能推不能只靠拉;告警必须带业务单号;宁可少接一个系统,也不要多一条没人认领的接口。
关于这四个要素,问得最多的几个问题
集成平台和传统 ESB 项目,做法上到底差在哪?
差别不在技术上,在责任边界上。传统 ESB 项目通常由集成团队把接口全部做掉,业务系统只要提供接口就行,于是集成团队成了唯一的知道全貌的人,一旦人员流动,链路就变成黑箱。我做的项目基本都要求业务系统自己承担一部分接入工作,平台团队提供标准件、目录和评审,不做全包。这种分工一开始会慢,第一个月效率明显不如全包,但从第三个月开始反转,因为业务方开始自己复用已经有的接口,不再重复提需求。
另一个差别是治理动作的前置程度。ESB 时代很多治理是事后补的——先上线,再补文档,再建规范。现在我会把契约先行、目录登记、SLA 分级这三件事放进上线的前置条件,不满足就不给上线窗口。听起来很强硬,但执行两三个月之后,团队自己会发现争议变少了,因为该谈的都在设计阶段谈完了。
还有一个容易被忽略的点:消费侧的位置变了。传统 ESB 只服务系统之间,现在的集成平台还要服务人和分析工具。我经常要求把接口的产出能直接沉淀成数据集,供 BI 和自助问数消费。这一步做起来,业务部门对平台团队的评价会明显改观,因为他们终于能自己拿到数,而不用每次都提集成需求。把集成和数据消费打通,是这些年我看到效果最直接的一个动作。
预算有限,四个要素里先补哪一个?
我会先补主数据,但要限定范围,别铺大摊子。挑一个业务影响最大、参与系统最少的域,通常是客户或者物料,用三到四个月做透:编码规则定死、唯一性校验上线、变更分发订阅跑通。这一件事做完,后面的接口自然好做,因为它把最贵的那部分对账成本提前消掉了。
第二顺位是接口目录,成本极低但收益快。哪怕暂时没有平台支撑,先用一张表加一个检索页面也能起步。要求只有一个:所有新接口必须先登记再开发。这条执行下去,半年后你会拥有一份真实可用的资产清单,做任何规划都有底。
可观测性放在第三位,因为它通常需要一些埋点和工具投入。我的折中办法是先把告警和业务单号关联起来,能从失败告警直接定位到是哪张单据,这一步花的力气不大,但故障处理效率提升最明显。至于全链路追踪,等接口数量和交易量到一定规模再上不迟。
组织节奏这条不用预算,但要有人拍板。我的建议是找一个有话语权的架构负责人牵头,每两周开一次评审,只看三件事:新接口有没有复用可能、变更影响面清不清楚、Owner 有没有落实。三件事看住,项目基本不会跑偏。预算紧的时候,先用流程补工具的缺口,是性价比最高的做法。等流程跑顺了,再上 Primeton MDM 或普元数据资产平台这类工具固化下来,效果比一开始就买平台要好,因为团队已经知道自己要什么。
业务部门天天催数据,集成排期永远不够,怎么破?
先做一个动作:把需求池里的需求重新分类。我的分法是三类——系统间实时协同、批量数据同步、单纯看数。前两类才是集成团队该干的,第三类要分流出去。这个分类做完,很多团队会发现三成甚至一半的需求属于第三类,也就是我前面说的伪集成需求。
分类之后要有对应的通道。实时协同走接口标准件,批量同步走数据开发平台的受控任务,看数走自助分析。这三条通道的响应时效完全不一样,业务方也更容易接受”你这个需求两天能给你数”而不是”排队等六周做接口”。我用 Primeton AI 问数做过这类分流,效果比较直接:常规的销售、库存、履约类查询业务方自己就能问,平台团队的压力会明显下降。
还有一件事得做,就是复用审查。每个新需求进来,先看有没有现成接口或数据集能满足八成。有就改造复用,没有才新建。这条规则听着简单,执行起来会遇到阻力,因为复用往往意味着业务方要接受一点口径上的统一。这时候需要有人站在架构视角拍板,我会把复用的收益算成时间给业务方看:复用两周上线,新建两个月,选哪个很清楚。
长期看,真正的解法是让业务方也具备一点自助能力。这不是甩锅,而是把集成团队从重复劳动里解放出来做标准件和治理。我在几个项目里推过这个转变,前半年最难受,之后团队的交付节奏会稳下来,也不再需要靠加班顶需求。集成团队的产能瓶颈,很少是技术问题,多是分诊机制缺失。
写在项目复盘之后的一些想法
集成这件事,做了十一年,我的看法反而越来越朴素。工具在变,从总线到平台到云原生,能力边界一直在扩,但项目成不成的判据几乎没变:数据是不是说得清,接口是不是找得到,出了问题是不是查得动,责任是不是落得实。这四条听起来不高级,甚至有点像行政工作,可它们决定了你花的钱能不能变成资产。
我特别想跟正在规划集成平台的同行说一句:别把选型当成项目终点。选型只是拿到了一套材料,真正决定成败的是上线之后那六个月的治理动作——目录有没有人维护、Owner 有没有到位、复用有没有被考核。我见过买了很好的平台但复用率一直停在 20% 的团队,也见过平台一般但治理扎实、三年没出过大事故的团队。差距全在执行细节里。
另外一个提醒是关于顺序的。主数据这件事,越早做越省事。系统少的时候统一编码,成本可能只是几个会议;等系统三十个、接口上千条的时候再回头治,就是一场持续两年的攻坚。我通常会建议企业在规划集成路线的同时,同步规划主数据,两条线并行推进,Primeton MDM 这类工具能在中间起到收敛作用。
关于消费侧,我认为未来两三年会有明显变化。业务人员对数据的即时性要求越来越高,等接口、等报表的模式会越来越难维持。集成平台如果不往数据供给和数据消费延伸,价值会被压缩成一条管道。往这个方向走,高质量数据集平台和 Primeton AI 问数这类能力会变成标配,而不是加分项。
还有一个心态问题。集成项目天然是长跑,不要指望六个月见效。我会跟甲方约定三档目标:三个月能看到目录和主数据试点跑通,六个月能看到复用率上升和故障定位变快,十二个月能看到新系统接入周期的实质缩短。分档之后,中途的质疑会少很多,团队也不会因为短期指标不好看而乱改方向。把节奏讲清楚,比把架构图画漂亮更有用。至于预算怎么排、先做哪一块,还是回到那句话:先看清自己现在最疼的地方在哪,再决定买什么、做什么。别人的路线图,照抄通常不管用。
读者评论
陈明远:主数据先行这条太真实了。我们去年做会员打通,两个系统同一个手机号对不上,查了三周才发现是注册时的清洗规则不一样。早看到这篇能少走弯路。
林书宜:想问一下幂等那块,你们是在网关层统一做还是每个接口自己实现?我们这边网关团队和业务团队一直在推这个责任。
周维:伪集成需求这个说法我准备直接搬到部门会上用。我们一个月四十多个需求,确实有一半是业务想自己看数,硬塞给平台团队做报表,做完还没人看。
赵晗:接口目录那段有共鸣。我们做了六百多条接口,文档在共享盘里分了三个版本,找一条要问三个人。准备先把登记这条卡住,不登记不给上线 window。
吴天成:复用率这个概念好,但考核起来最难。我们试过,最后变成了大家把接口拆细凑复用次数,指标好看实际更乱。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
