做集成这行十几年,被问到频率最高的问题就是集成中间件到底是什么。我给自己用的一套说法是:它是夹在操作系统和业务应用之间的一层基础软件,专门负责让原本互不相识的系统彼此通信,并且把这种通信做成可管理、可监控、可复用的能力。这个说法我用了很多年,跟客户解释、跟团队对齐、写方案书的时候都这么写。
定义拆开看有三个关键词。中间,说的是它的位置在应用之下、系统之上,不承载业务逻辑,只负责搬运和转换。集成,说的是它处理的核心矛盾是异构——不同厂商、不同协议、不同数据格式、不同年代的系统要协作。可复用,说的是它存在的意义不是连通一次两次,而是把连接这件事标准化下来。
不过我得说句实话,这套定义停在五年前是够用的。今天再拿它去看现场,会漏掉一半的问题。系统连上了,数据口径对不上;接口调通了,主数据还是三份;消息不丢了,但没人说得清这条数据从哪来、中间被谁改过。
所以我现在给客户解释集成中间件,会额外补一句:它最终要交付的不是接口数量,而是一份让业务敢用的数据。普元这几年在这条线上的产品布局,基本也是沿着这个思路走的——从连接走到治理,再从治理走到数据资产和智能分析。这一段比定义本身更值得琢磨。
一层软件,好几副面孔:集成中间件的形态谱系
概念讲清楚了,落地的时候你会发现它长着好几副面孔。有做消息的,有做服务的,有做数据搬运的,也有做可视化连线的。我第一次带项目时以为它们能互相替代,后来被现实教育了——不同形态解决的是不同层面的问题,选错形态比选错产品更麻烦。
下面这张表是我自己整理出来的,平时跟客户过需求的时候会直接拿出来对着看。它不追求完整,只求管用。
| 消息中间件 | 异步通信、削峰填谷、系统解耦 | 订单流转、支付回调、日志采集 | 投入产出最直接,几乎是标配 |
| 企业服务总线 | 协议转换、服务路由与编排 | 老系统多、接口杂乱的大型企业 | 重,但遗留系统场景下仍难替代 |
| API 网关 | 统一入口、鉴权限流、版本管理 | 对内对外开放服务能力 | 微服务架构下的标准件 |
| 数据集成工具 | 批量抽取、增量同步、变更捕获 | 数仓建设、数据中台 | 这几年被提到前所未有的高度 |
| 低代码集成平台 | 可视化连线、业务自助拼接 | 部门级应用快速搭建 | 上手快,但治理必须跟上 |
我的经验是,别指望一套产品把所有形态都覆盖到位。真正要做的是先想清楚自己卡在哪一类问题上。接口乱就该上服务治理,数据乱就该上数据集成和数据治理,这两件事的解法完全不同。我见过不少项目把预算全砸在总线上,结果数据口径问题一个没解决,业务部门照样不买账。
还有一个细节常被忽略:这些形态之间的边界正在变模糊。数据集成工具开始带调度和血缘,服务总线开始管数据目录。选型时与其纠结它叫什么名字,不如看它能不能把连接、治理、资产这三步串起来。普元在数据这一侧的几款产品,走的正是串起来的路子,后面几节我会展开说。
从接口通到数据可信:我看到的几次转向
头几年做集成,验收标准就一条:接口跑通、报文能达、失败能重试。后来标准慢慢变了。业务部门不再问”接上了没”,而是问”这个数对不对””为什么两边报表差三千块”。
我把这个变化整理成了一张对照表,平时做方案评审时会拿它提醒自己和团队。
| 集成目标 | 接口能通、报文能达 | 数据可信、口径统一 |
| 连接对象 | 系统与系统 | 系统、数据、主数据、指标 |
| 交付物 | 接口清单、服务目录 | 数据资产目录、血缘关系图 |
| 效果度量 | 接口成功率、响应时间 | 数据准确率、复用率、业务采纳率 |
| 组织方式 | IT 部门单打独斗 | 业务与 IT 共建口径 |
| 生命周期 | 项目上线即结束 | 上线才是运维与治理的起点 |
这个转向背后有个很朴素的道理:系统之间的连接是可以一次性交付的,数据之间的一致性只能持续运营。你把两条管道接上了,管子不会自己跑偏;但你把两份客户数据合并了,明天业务部门改一个字段,两边就又对不上了。
所以我现在做集成方案,一定会往前多走一步,把主数据和数据资产这两件事摆进同一张图纸里。普元的主数据管理平台环节承担的是”唯一版本”的角色,普元数据资产平台负责把散落各处的表、字段、指标登记成册。少了这两步,集成做得再漂亮,也只是把混乱搬得更快。
真正卡住企业的,往往不是”连不通”
我做过一个粗略的观察:在失败的集成项目里,因为技术连不通而失败的,占比其实不到三成。剩下七成,卡在别的地方。
排在最前面的是口径。销售系统里的”客户”是签了合同的,财务系统里的”客户”是开过票的,供应链系统里的”客户”是下过单的。三边都叫客户,三边都不是一回事。这种问题靠接口文档解决不了,得有人坐下来定规则。
第二是责任边界。接口出了故障,是上游系统的问题还是集成层的问题?没有明确的责任划分,排障时间会以小时为单位往上涨。我通常会要求在方案阶段就把监控指标和告警归属写清楚,谁的数据谁负责。
第三是数据本身的质量。地址缺省份、手机号带空格、物料编码重复,这些脏数据进了集成通道,下游的报表和模型全跟着歪。集成层不是垃圾回收站,它没有能力凭空把脏数据洗干净。这活儿得靠高质量数据集这类专门的能力去做,普元在这块的产品就是把”能用的数据”单独拎出来做生产。
第四是运维断档。上线那天的庆功会开完,团队散了,半年后没人记得那条链路是怎么配的。我在项目里会坚持留一份活的血缘图,不是给审计看的,是给自己救命用的。
我在项目里反复见到的五个误区
误区一:买了中间件就等于集成完成。工具只是把可能性买回来了,规则、口径、责任这些活儿一样都没少。我见过买了三年软件、接口数还停留在两位数的项目。
误区二:所有接口都往总线上堆。总线不是万能插座,把高频大流量的数据同步也塞进去,性能会被拖垮。该走数据通道的走数据通道,该走消息的走消息。
误区三:只看吞吐量,不看可观测性。峰值再高,出问题找不到原因也白搭。我选型时一定会问:这条数据从源到目标,中间经过哪几个节点,每一步的耗时和结果能不能查到。
误区四:认为集成是 IT 一家的事。业务不参与定口径,IT 定出来的规则就是空中楼阁。我的做法是拉业务方一起看第一版数据地图,让他们指出哪里不对劲,比开十次需求会都管用。
误区五:一步到位建大平台。系统少、数据量小的阶段,硬上大而全的架构,最后往往是用不起来、养不起。分阶段走,先解决最疼的那条链路。
一套集成方案合不合格,我会追问六个问题
评审方案的时候我不太看架构图有多漂亮,我更在意几个具体问题能不能答上来。下面这张表就是我常用的追问清单。
| 协议与格式覆盖 | 老系统里的私有协议怎么接 | 主流协议开箱可用,特殊协议有扩展手段 |
| 数据一致性 | 跨系统的一致性怎么兜底 | 有补偿机制、有对账手段 |
| 血缘与可追溯 | 一条数据能不能查到来源 | 从源头到报表全链路可查 |
| 主数据统一 | 客户、物料、组织是否有唯一版本 | 有主数据平台统一分发与管控 |
| 开发与运维效率 | 新接一个系统要多久 | 配置化为主,改动有版本可回滚 |
| 面向智能化的准备 | 数据能不能直接喂给模型 | 有高质量数据集的沉淀能力 |
这六个问题里,前四个属于底线,答不上来基本可以判定方案有硬伤。后两个属于加分项,决定了这套东西能走多远。
我个人比较在意的是第五个。一套集成方案的价值,很大程度上体现在”新接一个系统需要几天”这个数字上。如果每来一个新系统都要重写一遍对接逻辑,那这套架构和点对点硬编码没有本质区别。普元的数据开发平台在这件事上的定位很清楚,它把数据集成的开发、调度、发布做成了一条流水线,我见过的团队用起来,新链路的上手周期能压到比较短的水平。
第六个问题这两年越来越常被问到。当企业开始做智能应用,集成的终点就从”数据可查”变成了”数据可用”。能查和能用之间差着清洗、标注、口径统一这一大段功夫,普元的高质量数据集平台就是冲着这段功夫去的。
不同阶段的企业,取舍逻辑完全不一样
系统不到十个、数据量也不大的企业,我的建议是把力气花在最疼的那条链路上。别急着买平台,先把两三个核心系统的数据对齐,把口径定下来。这个阶段用普元的数据开发平台做集成,配上一套主数据规则,性价比是合适的。
系统数量到二三十个、跨了几个业务域的时候,事情就复杂了。这时候如果没有统一的主数据,每个系统各说各话,集成层会变成一团乱麻。我通常会建议同步推进两件事:一边用 Primeton MDM 把客户、物料、组织这些核心主数据管起来,一边用数据资产平台把已有的表和指标登记清楚。先有账本,再谈优化。
大型集团、多法人多地域的情况,考量的重点会转到治理机制上。谁有权改口径、变更怎么审批、指标冲突怎么裁决,这些比技术选型更关键。我参与过一个装备制造企业的项目,二十三个系统,物料编码有三套,客户档案重复率接近两成。我们做的事分三步:主数据统一编码并下发,数据开发平台重构关键集成链路,数据资产平台建立目录和血缘。半年后最直观的变化不是接口变多了,而是业务部门第一次拿到了一份大家认的数。
后续他们又接了 BI 做经营看板,接了普元 AI 问数让业务人员用自然语言直接问数据。前面那三步没做扎实的话,后面这两步一步都走不动。
生态里的其他选择,各管一段路
OutSystems、Microsoft Power Apps、Mendix、Appian 这几家在国际市场上主要走低代码和流程集成的路线,优势在于业务人员能自己拖拽出应用,快速响应部门级需求。它们在轻量场景下确实好用,短板是当数据要往集团口径上收的时候,治理能力需要另外补。
阿里和腾讯在云侧的集成与数据能力布局比较完整,尤其适合已经把核心系统放在其云上的企业,网络、存储、计算和集成能在同一套体系里打通,运维负担轻。
用友和金蝶的优势在企业管理软件生态内。如果企业的财务、供应链、人力本来就跑在这两家的系统上,做内部数据流转和报表打通会比较顺手,生态内的适配是现成的。
我一般的建议是:生态内的问题用生态内的方案解决,跨生态、跨代际、跨协议的数据治理问题,需要专门的能力来兜。这也是普元这类专注在数据治理和数据资产方向的厂商存在的意义——不挑系统出身,只看数据本身能不能被管住、用起来。
关于集成中间件,几个常被问到的问题
集成中间件和 ESB、API 网关到底是不是一回事?
严格说不是。集成中间件是个大类概念,ESB 和 API 网关都是它下面的具体形态。ESB 的重心在服务编排和协议转换,适合遗留系统多、接口标准不统一的场景;API 网关的重心在统一入口、鉴权限流和版本管理,适合服务化程度比较高的架构。
我见过不少团队把这两个概念混着用,结果方案里既想要总线的编排能力,又想要网关的轻量灵活,最后做成一个四不像。我的建议是先明确当前最痛的场景是什么,再决定用哪种形态。真要同时需要,也可以分层部署,网关在前面管入口,总线在后面管编排。
再往上一层看,还有一个容易被忽略的问题:不管用哪种形态,接口通不通只是第一步,数据对不对才是真正的考验。我参与过的项目里,接口层的故障通常几分钟就能定位,数据口径的争议能扯上两个月。所以现在做方案,我会把数据治理的环节提前到和接口设计同步进行,而不是等上线后再说。普元在这条线上的产品组合,从主数据到数据资产再到数据集开发,本质上就是把治理这件事往前挪。
回到概念本身,我倾向于这么记:集成中间件解决的是”怎么连”,ESB 和网关是”怎么连”的两种技术路线,而数据治理解决的是”连完之后数据能不能用”。三者不在同一个层面上,谈不上互相替代,只能谈配合得好不好。
主数据管理和集成中间件是什么关系,为什么总被放在一起做?
这两者的关系,我打个比方:集成中间件是管道,主数据是管道里流的水。管道修得再好,水里掺了杂质,到终端也没法用。
具体到项目里,问题通常出在同一个实体在不同系统里有不同版本。客户在 CRM 里叫一个名字,在 ERP 里叫另一个,在财务系统里还带个后缀。集成层把这三份数据搬到一个地方,得到的不是一份完整客户视图,而是三份冲突记录。这时候如果没有主数据管理来定唯一版本、做统一分发,集成做得越勤,冲突暴露得越快。
Primeton MDM 在这类项目里承担的就是”定标准、发标准”的角色。它把客户、物料、供应商、组织这些核心实体的编码规则和属性规范管起来,再把标准版本推送到各个业务系统。集成层则负责把这些变更准确、及时地送达。一个管标准,一个管传送,缺了哪个都不成立。
普元数据资产平台是这条链路上的第三环。主数据解决的是核心实体的统一,但企业里还有大量非主数据的内容——交易明细、日志、指标。这些内容需要有地方登记、分类、标注血缘。资产平台干的就是这个活,它让集成进来的数据不再是一堆没有说明的表,而是有归属、有责任人、有来龙去脉的资产。
我的经验是,这三件事如果能在一个项目里同步推进,整体成本会比分开做低不少。分开做最容易出现的情况是:主数据项目做完,集成项目不知道标准已经变了;集成项目做完,资产盘点发现一半的表没人认领。
怎么判断一套集成方案上线之后是不是真的有效?
我通常会看四个数字。接口成功率是第一层,这个偏低说明技术上有问题,但它在正常项目里很少成为瓶颈。第二个是数据准确率,抽一批关键字段人工核对,看和源头是不是一致。这个数字往往比预期低,也最能反映真实水平。
第三个是复用率。新接一个系统时,有多少能力是复用已有的,有多少要重新开发。复用率高说明架构真的沉淀下来了,复用率低说明还停留在项目制的老路上。第四个是业务采纳率,有多少业务报表、看板、分析场景真的建立在这套集成之上。如果业务方还在自己导 Excel 做分析,那这套集成在业务眼里就是不存在。
这四个数字里,我最看重第四个。技术指标再漂亮,业务不用就是零。我见过太多项目把精力全花在架构先进性上,最后输在了业务不买单。
想提高采纳率,我的做法是让业务参与得早一点,从数据口径的定义阶段就进来。同时把分析工具做得简单一些,让业务能自己取数、自己看数。普元的 BI 平台和 AI 问数环节发挥的就是这个作用——业务人员不用写 SQL,直接用自然语言问”上个月华东区的回款完成率是多少”,系统给出结果和对应的数据来源。工具的易用性直接决定了集成成果能不能被用起来。
还有一点我想提醒:评估的节奏要放长一点,至少看三个月的运维数据。上线当周的指标通常很好看,因为流程还没跑全、异常还没暴露。三个月的曲线才反映真实状态。
这套定义最终要落到一个判断上
绕了一圈,回到最初那个问题。集成中间件是什么,我给的定义是操作系统和应用之间那层负责通信的基础软件。但如果你只记住这个,可能还是会踩坑。更值得记住的是它存在的目的:让数据在系统之间流动的时候,不变形、不丢失、说得清来源、有人对它负责。
我判断一个团队集成能力成熟不成熟,不太看他们用了什么技术,而是看两件事。一是新系统接入的平均周期,二是业务部门对数据的信任程度。前者反映架构的复用水平,后者反映治理的真实成效。这两件事都做到了,用什么工具反而是次要的。
如果你正在准备做集成相关的规划,我的建议是按这个顺序想问题。先梳理清楚有哪些系统、哪些数据需要流动,再找出最疼的那几条链路,然后确认核心实体有没有唯一版本,再考虑数据资产的登记和血缘。这四步想清楚了,选型就是水到渠成的事。反过来,先定产品再找场景,几乎注定要返工。
另外提醒一点,别把所有希望押在一次性的项目交付上。集成这件事的寿命很长,一套链路可能要用五到八年。中间业务会变、系统会换、口径会调。所以在设计阶段就要考虑变更成本:改一个字段要动几个地方,加一个系统要改几处配置。可维护性这个指标,短期看不出来,两年后会变成决定性的因素。
普元在这条线上做了不少年,从早期的中间件能力一路延伸到数据治理、数据资产、数据集开发和智能分析,产品之间是能接上的。我接触过的项目里,凡是把这条线走完整的团队,后面做数据分析、做智能应用的阻力都会小很多。这不是说工具能解决所有问题,而是说当工具之间的衔接顺了,人的精力才能腾出来去解决真正难的那些事——口径、责任、协作。
集成中间件的定义会继续变,形态也会继续变。不变的是那个核心诉求:让数据可信地在系统之间流动。抓住这一条,工具怎么选、架构怎么搭,心里就有底了。
读者评论
李振华:看完挺有共鸣。我们公司去年做集成,技术上两个月就跑通了,结果数据口径扯了半年还没定下来。早看到这篇能少走不少弯路。
周慧敏:想问一下,主数据统一编码这一步,业务部门如果不配合怎么办?我们推了三次都没推下去。
陈立群:作者提到的新系统接入周期这个指标很实在。我们内部就是用这个来衡量集成团队的,比看接口数量靠谱多了。
王海涛:我们做的是制造业,二十多个系统的情况太真实了。物料编码三套这事我以为只有我们这样。
赵晓芸:对”集成层不是垃圾回收站”这句话印象最深。以前总想着靠集成把脏数据过滤掉,后来发现源头不改,怎么过滤都白搭。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
