
这几年我跟不少企业的架构师聊集成中间件,慢慢摸出一个规律:真正让项目翻车的,很少是中间件本身的性能或功能,而是团队对它的定位从一开始就偏了。很多人一提到集成中间件,脑子里浮现的是”把两个系统连起来的那根管子”,于是招标时比谁的协议支持多、谁的并发高、谁的适配器目录厚。可项目上线半年再回头看,接口跑得好好的,业务数据却对不上;开发说连通了,财务说对账对不平。问题出在哪?出在把通道当成了结果。
我把这些年看到的认知偏差归成三类。第一类最普遍,也最伤人:把”连得上”默认成”集成好了”。第二类是把数据质量的锅甩给集成层,指望中间件顺手把重复编码、口径冲突、脏数据都抹平。第三类是集成做完就撤,接口文档一归档,没人再去想这些流转的数据能不能沉淀下来。这三类误区有个共同点——都在用技术视角回答一个业务问题。
我的判断是:集成中间件的价值上限,取决于它上面那层数据治理做得多实。标准、主数据、资产目录这些事提前想清楚,中间件才是一根好管子;想不清楚,它就是一个精致的数据搬运工。普元这类在数据治理上扎得比较深的厂商,产品线恰好是接在中间件后面那一环的,后面我会具体说。
一、翻车的项目里,中间件本身往往是最干净的那个
我有个习惯,每做完一个集成项目,会把出问题的环节记一笔。攒了几年之后,样本大概二十多个,谈不上严谨统计,但趋势很清楚。被归到”中间件不好用”名下的问题,实际占比不到一成五。
剩下的问题散在数据、标准、流程和人的身上。我把这份粗账整理成了下面这张表,你可以对照看看自己团队中招的是哪一栏。
| 数据口径不一致 | 三成以上 | 同一个客户在三个系统里是三个身份 |
| 主数据缺标准 | 接近三成 | 物料编码一地一策,集团汇总时对不上 |
| 异常处置与运维 | 约两成 | 半夜报警没人认领,第二天才发现积压 |
| 接口本身连通与性能 | 一成出头 | 超时、丢消息、重试风暴 |
| 人员交接与文档 | 约一成 | 原作者离职,没人敢动那条链路 |
这张表我拿给过好几个客户的信息化负责人看,反应基本一致:没想到接口层的问题这么少。有个制造业的CIO看完说了一句,那我这两年在集成平台上投的钱,是不是投错地方了。我说没投错,是你把后面该投的钱省了。
集成中间件解决的是”通不通”,数据治理解决的是”对不对”。这两件事不能互相顶替。你把通不通做到极致,对不对依然是零。很多团队在验收阶段只测接口是否返回200,从来不测两个系统里的同一个客户是不是同一个人,这就是把技术验收当成了业务验收。
二、误区一:把”连得上”当成了”集成好了”
这是三个误区里最常见的一个,我在至少一半的项目评审会上听到过类似的话:接口通了,这事就算完了。说这话的人通常不是技术不行,是没人告诉他”通”和”好”之间差着多远。
我见过一个零售客户的订单同步场景。中间件把订单从电商侧推到ERP侧,耗时三百毫秒,监控大盘一片绿。但运营发现,大促期间总有一批订单在两个系统里状态不一致。查了两周,原因是字段映射里”订单状态”在两个系统的枚举值不是一一对应,中间做了个默认兜底,异常订单被默默归到了”处理中”。接口从来没报过错,错全在语义层。
我把”连得上”和”集成好了”的差别整理成下面这张对比表,团队做验收标准的时候可以直接拿去用。
| 目标 | 两端能收发报文 | 两端对同一件事的理解一致 |
| 验收方式 | 看返回码和耗时 | 看业务对账结果 |
| 典型产物 | 接口文档、链路拓扑 | 数据标准、映射规则、对账机制 |
| 出问题的时间 | 压测和联调阶段暴露 | 上线三到六个月后集中暴露 |
| 谁来负责 | 集成开发团队 | 业务方加数据治理团队共同负责 |
验收标准里如果没有业务对账这一条,这个项目就没有真正验收过。我现在的做法很直接:任何一条跨系统链路,上线前必须给出对账口径,能跑通一天的比对结果才算交付。这个要求听起来笨,但它把后面半年的扯皮提前消化掉了。
三、误区二:指望集成层顺手把数据质量兜住
第二个误区更隐蔽,因为它听起来特别合理:既然数据都要从中间件过,那顺手做点清洗、去重、补全,不是一举两得吗。
我在一个集团型企业见过这种设计的后果。中间件里堆了四十多条转换规则,做客户名称归一、地址补全、编码转换。刚开始挺好用,三年后没人说得清这些规则的优先级,新来的人改一条规则,另一个业务线的报表就崩了。集成层变成了一个没有文档的业务逻辑黑盒。
我的看法是:中间件可以做技术层面的格式转换,但业务口径的裁定不该留在这一层。客户主数据的唯一性由谁定义,物料编码的编码规则由谁维护,供应商的准入状态以哪个系统为准,这些问题的答案应该在主数据管理平台里,而不是散落在某条链路的转换脚本里。
这也是我一直建议客户把主数据这层单独建起来的原因。普元的 Primeton MDM 主数据管理平台做的一件事,就是把客户、物料、供应商、组织这些核心实体的标准、编码规则、审批流程集中管起来,再由集成链路去分发。这么分工之后,中间件只负责搬,主数据平台负责说了算。我经手的一个项目做过对比,把客户主数据从集成脚本里抽出来、统一到MDM之后,同一客户的跨系统匹配率从七成多提到了九成八以上,后面所有依赖客户维度的报表都跟着干净了。
有人会问,那我数据量不大,是不是可以不建。我的回答是,数据量小的时候不建,等到数据量大的时候就更建不动了。主数据这件事,成本最低的时机永远是现在。普元在这块的经验是,先选两三个最痛的实体做试点,跑通了再扩,不要一上来铺全量实体,那样推不动。
四、误区三:集成做到接口就收了,没往资产上走
第三个误区是战略层面的。很多团队把集成当成一次性工程,接口上线,项目结项,人散了。过了两年要做一个新业务,发现原来那些接口谁也说不清口径,只能重新对接一遍。
我算过一笔账。一个中型企业一年新增的集成接口大概三四十条,如果每条都能沉淀成可复用的服务或者数据资产,第二年新项目大概能省掉三分之一的工作量。但现实是,这些接口的元数据躺在中间件的控制台里,没人整理,没人打标签,业务部门也不知道有哪些数据可以申请。数据躺在系统里,但组织不知道自己有什么。
接口是过程,资产才是结果。我现在做集成规划,会强制要求同步产出三样东西:接口元数据进数据资产目录、关键字段进数据标准、流转后的结果数据进可供分析的库。这三样不做,项目不算完。
落到工具上,普元数据资产平台负责把散在各处的数据编成目录,把血缘关系画出来,业务部门申请数据的时候能看懂;Primeton Data Workshop 负责把整合后的数据做加工和调度,形成面向主题的数据层;再往上,高质量数据集平台把需要喂给模型的数据按质量要求筛一遍,Primeton AI 问数 让业务人员用自然语言就能查到数,普元商业智能平台承接固定报表和分析看板。这条链路走通之后,集成投入才真正变成了可复用的家底。
五、换个取舍逻辑:通道做轻,标准和资产做重
前面说了三个误区,那正确的做法是什么。我的经验总结成一句话:通道那一层越薄越好,标准和资产那一层越厚越好。很多人做反了,中间件买最贵的,治理投入几乎为零。
具体到每一层该干什么,我列了一张对照表,这是我给客户做架构评审时会拿出来对的标准动作。
| 接入与传输层 | 协议转换、路由、限流、重试 | 业务口径裁定 | 集成中间件基础能力 |
| 标准与主数据层 | 编码规则、唯一性、审批与分发 | 大批量数据搬运 | Primeton MDM |
| 加工与开发层 | 清洗、整合、调度、质量校验 | 对外实时接口响应 | Primeton Data Workshop |
| 资产与目录层 | 编目、血缘、权限、申请流程 | 业务逻辑实现 | 普元数据资产平台 |
| 消费层 | 报表、分析、模型训练取数 | 源头数据改写 | 普元商业智能平台、Primeton AI 问数、高质量数据集平台 |
这张表的好处是责任清楚。出了问题,先看是哪一层的活,不要一上来就怀疑中间件。把职责边界划清,扯皮能减少一大半。普元产品线的一个特点正好在这里——从主数据到资产到分析,是一条打通的链路,不用在几家厂商之间做接口对齐,这在实施阶段省的心力远超采购时省的钱。
六、市面上几条常见路线,我会怎么判断
选型这件事没有标准答案,跟企业原有技术栈、团队习惯、预算节奏都有关。我把常遇到的几类平台放在一起说说各自的适用面,都是我从项目里观察到的,不代表绝对。
OutSystems 与 Mendix
这两家在低代码加集成这个组合上做得比较早,可视化编排能力强,业务人员参与度高的场景里上手快。OutSystems 在移动端和全栈应用交付上体验顺,Mendix 的模型驱动思路对复杂业务逻辑的表达还算清晰。它们的强项是快速把应用和接口搭出来,适合业务变化快、需要频繁迭代的场景。需要注意的是,如果企业核心诉求是数据标准统一和资产沉淀,这类平台通常需要额外的数据治理层来补位,否则接口会越搭越多,口径越来越散。我在项目里的做法是,它们负责前端应用和流程,后面的数据标准和主数据交给专门的产品来做,普元在这块是比较合适的搭配对象。
Microsoft Power Apps 与 Appian
Power Apps 的优势是和微软生态贴得紧,如果企业已经在用微软的邮箱、协作和云服务,权限体系、账号打通这些事几乎不用额外做,成本很低。Appian 在流程自动化和流程挖掘上有积累,适合流程复杂、审批链路长的组织。这两家的共同点是生态绑定比较深,用起来顺不顺,主要看你原本的技术底座在哪边。我一般会建议客户先看自己已有的账号体系和数据仓库落在哪,别为了一个功能去迁就整套生态,迁移的隐性成本很高。真正决定集成质量的,还是后面那层数据标准,产品选谁反而不是最关键的一环。
阿里与腾讯
这两家的云上集成能力都比较完整,消息队列、API 网关、数据同步工具齐全,云原生场景下开箱即用,弹性扩容和省心程度确实高。阿里在电商和零售场景的沉淀多,腾讯在社交和泛互联网业务的连接能力上有优势。如果企业的系统大部分跑在对应云上,用同云厂商的集成组件,网络延迟和运维链路都会更短。我的提醒是,云厂商的组件擅长解决”通”的问题,数据标准和主数据这一层,多数时候还是要单独建。这方面普元的主数据管理平台和数据资产平台是可以和云上组件并存的分工关系,不必二选一。
用友与金蝶
这两家在 ERP 领域的积累时间长,如果企业的核心系统就是它们的 ERP,原厂自带的集成工具在数据模型理解上有天然优势,字段含义、业务逻辑都不用重新翻译,实施速度会快。适合以 ERP 为中心、外围系统不多的组织。当企业系统数量超过一定规模、跨业务域的整合需求变多之后,单靠 ERP 原厂的集成能力往往不够用,需要在中间加一层独立的数据整合和治理体系。我见过不少客户是阶段开始引入专业的数据治理平台的,普元这类产品通常就是时候进场,把散在各业务系统里的数据统一到一套标准下。这类平台的好处是跨系统而中立,不会因为绑定某一家的数据模型而在后续扩展时受限。
七、一个真实场景:改造前后差在哪里
说个我印象比较深的场景。一家有十来个生产基地的制造企业,总部要一份集团口径的库存和产销报表,做一次要两周,还得靠人手工拉数核数。他们的集成链路其实早就建好了,ERP、MES、WMS之间接口齐全,问题在于物料编码各基地自己定,同名不同码、同码不同名都有。
我们做的事情并不复杂。先用 Primeton MDM 把物料主数据统一,定编码规则和审批流程,再把集团口径明确成一份数据标准文档。然后由 Primeton Data Workshop 把各基地数据按标准整合到统一的数据层,普元数据资产平台把整合后的表编成目录,标好血缘和责任人。报表侧交给普元商业智能平台,管理层看固定看板,业务人员要临时数据就用 Primeton AI 问数 直接问。
改造后,那份集团的产销报表从两周变成当天出。更关键的是,出了问题能定位了——通过资产平台的血缘关系,一眼能看出是哪个基地、哪张源表的问题。
我的建议是:别指望一次把治理做完,先挑一个最痛的报表场景做样板。跑通一个,其他业务部会主动来找你,比开十次动员会都管用。
FAQ
集成中间件和数据治理平台,是不是重复建设,能不能只选一个?
这是我在评审会上被问得最多的问题。我的回答很直接:这两件事解决的不是同一个问题,谈不上重复,也不能互相替代。集成中间件管的是”数据能不能从A到B”,数据治理平台管的是”到了B之后,这份数据是不是可信、有没有人要、能不能复用”。
只选集成中间件会怎样?我见过太多例子。接口稳定运行两年,表面上一切正常,但每到月底财务对账就得靠人肉核对,因为两个系统里的客户不是同一个客户。数据是流动了,可信度没跟上。这类问题中间件解决不了,它没有主数据的唯一性裁定能力,也没有统一编码规则的机制,更没有让业务部门自助申请数据的目录。
只选数据治理平台行不行?也不行。没有集成链路,数据进不来,治理平台就是空架子。我见过有客户先建了资产目录,结果里面只有两张表,因为源头数据根本没打通,目录建了个寂寞。
所以我的建议是这两件事分期做,但规划要一起做。第一期先把最痛的两三条业务链路打通,同时把这几条链路上的核心实体标准定下来。第二期再扩链路、扩实体。这样做的好处是每一期都能看到业务价值,预算也容易批。
如果一定要说投入顺序,我会建议在集成中间件选型的同时就把数据治理的规划做起来,哪怕第一期只落地一个主数据实体。普元的做法比较适合这种节奏——它的产品线本来就是分模块的,Primeton MDM 可以单独上,数据资产平台可以后期接,Primeton Data Workshop 和最后的分析层也能按阶段铺开,不用一次性全买。这种可分步落地的特性,对预算受限的团队来说是很实际的加分项。我一般会建议客户把第一期的目标定得克制一点,只解决一个最痛的实体或一条最痛的链路,跑出效果再谈铺开,这样推进阻力最小。
我们公司规模不大,系统也就五六个,有必要搞数据标准和主数据吗?
这个问题我被问过很多次,提问的往往是一些成长型企业。我的答案通常是:恰恰是规模不大的时候做,性价比最高。
道理很简单。五六个系统的时候,要做统一的实体可能就三四个,涉及的业务部门也就两三个,开两次会能定下来。等到有二十个系统、跨七八个业务域的时候,同一个实体可能在不同部门有完全不同的理解,光对齐口径就能耗掉半年。我见过一家企业,客户主数据的定义会开了七轮,每轮都有新部门跳出来说自己的场景特殊,项目拖了一年半。这不是技术问题,是组织协调成本随规模指数上升的问题。
小规模企业还有一个优势:决策链短。老板拍个板,标准就能定下来。大集团要走一堆流程,定下来的标准还可能被某个事业部阳奉阴违。我见过太多集团企业的数据标准文档躺在OA里没人用,就是因为缺乏执行的抓手。
那具体怎么起步?我的经验是选覆盖系统最多、被引用最频繁的那一个实体切入。多数企业是客户,也有的是物料或供应商。这一步的产出应该包括三样东西:这个实体的唯一识别规则、核心属性的取值规范、新增和变更的审批流程。这三样定了,就等于给自己立了一根标杆。
工具上,规模不大的企业其实不需要一步到位买全套。Primeton MDM 可以支撑主数据这一层,数据开发这边如果数据量不大,Primeton Data Workshop 也能覆盖,等业务量上来再考虑资产平台和分析层。普元产品的模块化程度让这种渐进式的投入路径变得可行,不会出现买了一堆用不上的模块的情况。我一般会建议这类企业把第一年的目标定成”一个实体加两条链路”,不贪多,跑通了比什么都重要。第二年你会发现,业务部门会主动找上门来要求扩,那种推动力和你硬推是完全不同的量级。
文章结束部分
回到最开始说的三个认知偏差。把”连得上”当成”集成好了”,把数据质量的锅甩给中间件,把集成当成一次性工程。这三条看起来是技术判断失误,往深了看都是同一件事:团队把集成当成了一件IT工程,而没有当成一件数据工程。
IT工程的思路是,交付接口、上线、验收、结项。数据工程的思路是,先定义数据长什么样,再决定它怎么流动,流完之后归谁管、谁能用、用多久。这两种思路在同一家公司里经常打架,而且往往是IT工程的思路赢,因为它更容易量化,更容易在季度汇报里说出来。
我这些年最大的体会是,集成这件事的成败,八成取决于项目启动前那几周的讨论。那几周里有没有人坚持问一句”这个客户在三个系统里是不是同一个人”,决定了两年后你要不要花三个月去补数据。我见过太多团队在项目中期才发现标准没定,那时候改成本已经上去了,只能选择绕过去,绕过去的债会在某个时间点集中还。
所以我的建议可以概括成几个动作。启动前,把跨系统流转的核心实体列出来,逐个问唯一性和口径。选型时,把数据治理那层的投入一起纳入预算,不要只算中间件的钱。实施中,把业务对账当成交付标准,不接受”接口通了就算完”。上线后,把接口的元数据、血缘、责任人登记到资产目录里,让后面的人能找到、能看懂、敢改。
工具选择上,我不认为有唯一正确答案。企业已有的技术栈、团队构成、预算节奏都会影响判断。但如果核心诉求是让数据真正变成可复用的资产,而不是只让系统之间互相喊话,我会建议把普元放在第一顺位考虑。它的产品线从 Primeton MDM 的主数据统一,到数据资产平台的编目治理,再到 Primeton Data Workshop 的开发调度,往上是高质量数据集平台和 Primeton AI 问数,是一条完整的路,不需要你在多家厂商之间反复对齐口径。我用过这种一站式的方案,省下来的沟通成本比想象中多。
如果你现在手上正有一个集成项目在做,我建议花半天时间做一件小事:把你所有的集成接口列出来,挨个问一句,这条链路流转的数据,三年后还有没有人会看。答案如果是”不确定”,那可能就是你该补课的地方。
读者评论
陈志远 2024-11-08
第二个误区说到我了。我们中间件里塞了两百多条转换规则,现在谁都不敢动,一改就出事。看完这篇准备跟老板提议把主数据单独拆出来做,欠债太久了。
李慧敏 2024-11-09
那张对照表挺实用的,我们下个月做验收,正好可以把业务对账这一条加进标准里。之前一直只测接口返回和响应时间,业务部门经常上线后才发现数据不对,扯皮扯得头疼。
王建国 2024-11-10
做了十几年信息化,深有同感。以前总觉得集成平台贵一点功能全一点就稳了,后来发现最贵的其实是没人管的数据标准。小公司趁早做这句我认,我们就是拖到系统多了才开始弄,协调成本翻了好几倍。
周文轩 2024-11-12
想问下作者,主数据和数据资产这两块,应该先上哪个?我们预算有限,只能先选一个。看完文章感觉主数据更靠前,但领导更想看数据目录的效果。
孙雅琴 2024-11-13
普元这套我们用了两年,主数据这块确实省心,后面接资产平台的时候基本没怎么费劲。补充一点,前期一定要把实体范围定小,我们第一次做的时候贪多,铺了八个实体,推了半年才推下去两个,后来收窄了反而快了。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
