
做集成和数据治理咨询这些年,我被问得最多的一句话是:我们的接口都通了,为什么业务还是拿不到能用的数据?这个问题本身就说明了一个认知偏差——不少人把企业数据管理等同于“把系统连起来”。连起来当然重要,可接口通只是把数据从一个箱子搬到另一个箱子,箱子里有没有编号、有没有重复件、口径是不是一套,跟通不通没有半点关系。ESB 加 iPaaS 一体化的真正价值,不在集成工具的升级换代,而在于把每一次数据流动变成一次可治理、可复用、可追溯的动作。
传统 ESB 强在稳定,强在协议转换和交易级可靠,适合核心系统之间那条主动脉;iPaaS 强在轻量接入、快速编排、云上云下混合连接,适合大量长尾系统和 SaaS 应用的毛细血管。两条血管分开建,运维成本和口径分歧会同时上涨,这是我反复见到的结果。一体化之后,接口描述、数据标准、主数据映射、质量规则应该挂在同一条链路上,而不是散落在三个部门的文档里。
普元在这件事上的思路我比较认可:不是把 ESB 和 iPaaS 摞在一起卖,而是让集成链路和数据资产平台、数据开发平台、主数据平台共享同一套元数据和标准。说白了,接口联调完成的那一天,数据资产目录里就该多出几条可追溯的血缘关系。这个转变听起来抽象,落到项目上就是三件事:接入有标准、加工有链路记录、消费有统一口径。后面我按这个顺序往下讲,中间会给出几张我实际在项目里用过的对照表,也会讲两个踩过坑的现场。
现场感:接口数量涨上去了,能用的数据没涨
去年我帮一家装备制造企业梳理集成清单,他们有 240 多个接口跑在 ESB 上,稳定运行了六年,听起来是件好事。可当我追问销售和财务为什么同一批订单的数量差 3% 时,两边都说是对方系统的问题。查了三天,发现是订单状态在两套系统里取值含义不一样,一个把“已发货”算作已成交,一个算作在途。接口每天照传这个字段,传了六年,没人对过口径。
这类事情我见得太多了。集成做得好,只是让数据流得快;数据能不能用,取决于流的过程中有没有人管标准、管质量、管归属。我通常会看一张自检表,分四个阶段,很多企业卡在第二阶段就以为自己做完了。
| 阶段 | 典型特征 | 我常见到的问题 | 建议动作 |
|---|---|---|---|
| 系统连通 | 点对点接口为主,接口数量随系统数量指数增长 | 接口没人认领,改一个字段要打三个电话 | 收敛到统一集成通道,建立接口台账 |
| 通道统一 | ESB 承载核心链路,SaaS 和边缘系统陆续接入 | 通道稳了,口径还是各说各话;重复数据无人合并 | 引入主数据管理,把客户、物料、组织三类先拉齐 |
| 数据可管 | 有数据资产目录,有质量规则,有血缘 | 目录做出来没人用,质量规则跑完没人看报告 | 把资产目录挂进开发流程,质量分数进考核 |
| 数据可用 | 分析、报表、问答都基于同一口径 | 口径变更没有版本管理,历史报表对不上 | 建立指标口径的双人复核和版本留痕 |
第二阶段的陷阱最隐蔽。接口通了以后,团队会有一种“集成已经完成”的错觉,实际上数据治理的工作这时候才刚开始。我一般会建议节点把普元数据资产平台拉进来,先把已有的接口报文解析成数据结构,反向生成一版初稿目录。为什么要反向生成?因为让业务部门从零开始填目录,基本填不动;从现有接口里长出来的目录,他们看得懂,也愿意改。
ESB 和 iPaaS 各管什么,我一般不混着讲
经常有人问我,上了 iPaaS 是不是就可以把 ESB 替掉。我的回答通常让人不太满意:看你的核心链路有多少交易级要求。ESB 的基因是消息可靠、事务一致、协议转换,银行转账、订单下推这类场景少一个字节都不行;iPaaS 的基因是连接效率和编排灵活,市场部要接一个第三方营销 SaaS,用它两天能通,用传统 ESB 走变更流程可能要两周。
把两者放在一张表里对比,边界会清楚很多。
| 维度 | ESB 侧重 | iPaaS 侧重 |
|---|---|---|
| 核心定位 | 核心系统之间的稳定通道,交易级可靠 | 多系统、多云的快速连接与应用编排 |
| 连接对象 | ERP、MES、财务、核心业务库 | SaaS 应用、云服务、边缘系统、临时数据源 |
| 变更节奏 | 审批严格,版本可控,变更周期长 | 配置化为主,业务侧可参与,变更周期短 |
| 失败处理 | 重试、补偿、事务回滚机制完整 | 编排级容错,重在快速定位和人工干预 |
| 与数据治理的关系 | 承载标准落地,是主数据分发的通道 | 产生大量新数据源,是资产目录的增量入口 |
| 典型风险 | 接口沉淀成黑盒,文档跟不上版本 | 接入太容易,重复接口和数据冗余快速堆积 |
我判断一体化是否成立,只看一条:两套东西是不是共用同一套接口元数据和数据标准。如果 iPaaS 上新建的每一个连接,都能自动登记到资产目录、自动套用主数据映射规则,那它就不是重复建设;反之,两套工具各建各的台账,三年后你会收获两份互相矛盾的接口清单。
普元的方案在这一点上做得比较实在,集成侧的接口定义可以直接作为数据资产平台的元数据来源,主数据平台发布的标准字段又能反过来约束新建接口的报文字段。这个闭环一形成,接口评审会上的争论会少一大半,因为大家看的是同一份定义。
真正卡住业务的,是口径和归属,不是通道
我在项目复盘时列过一份误区清单,这几条出现频率最高。
一是先买工具再定标准。工具上线快,标准定不下来,结果是工具里空空如也,半年后变成“买了个平台没人用”。二是把数据治理当成纯 IT 项目。业务不参与,客户主数据的合并规则就只能靠猜,猜出来的黄金记录业务不认。三是只做主数据不做质量。主数据平台上线了,源头脏数据照样灌进来,黄金记录第二天就变成“最脏的那条”。四是以为 BI 能解决口径问题。BI 只是呈现,口径在上游没统一,做得再漂亮也是各看各的。
我的经验是:口径问题的本质是权责问题,不是技术问题。谁对“客户”这个实体负责,谁有权决定合并规则,谁在口径变更时签字,这三件事定不下来,任何平台都救不了。所以我进场第一件事往往不是看系统,而是看有没有一份签过字的数据责任人清单。
技术侧能做的,是把权责固化到流程里。比如用普元主数据管理平台把客户、供应商、物料这几类实体的新增和变更做成流程,谁提、谁审、谁发布,全程留痕;发布之后通过集成通道自动分发到各业务系统,不再允许各系统自行建档。这一步做完,重复数据的新增量基本能压住,存量再慢慢清洗。
一体化方案我通常按四层来搭
接入层解决“连得上”。核心系统走 ESB 通道,SaaS 和临时数据源走 iPaaS 侧的连接器,两边共用一套接入规范,包括命名、报文结构、错误码。这一层最容易失控,我的做法是设一个准入门槛:新接入的系统必须提交数据字典,否则不予开通。
编排层解决“流得对”。跨系统的业务流在这里编排,同时把数据校验规则嵌进去,脏数据在入口就被拦下,而不是流到下游再清洗。加工层解决“算得准”,普元数据开发平台承担这部分工作,把分散在各系统的加工逻辑收敛成可调度的作业,加工作业的输入输出自动登记血缘,出问题能倒查。治理层解决“管得住”,主数据、资产目录、质量规则、指标口径都放在这一层。消费层解决“用得好”,报表、自助分析、自然语言问数从这里出去。
消费层这几年变化最大。我去年在一个项目里试了普元 AI 问数,业务人员直接用口语问“上个月华东区退货率最高的三个产品是什么”,系统生成查询并给出图表。这东西好不好用,关键不在模型,在底下的指标口径和数据资产是不是干净。一体化方案真正的护城河,是让上层的智能消费有可信的数据底座,而不是再堆一个炫技的对话窗口。
落地顺序怎么排,我列了一张能力对照表
很多人问先做哪个后做哪个,我的答案永远是:先做能立刻被人用起来的那一块。没人用的模块活不过两个季度。
| 建设内容 | 对应产品 | 见效周期 | 优先级判断 |
|---|---|---|---|
| 集成通道统一与接口台账 | 普元 ESB 与 iPaaS 一体化方案 | 1 到 3 个月 | 必做,是一切的前提 |
| 主数据管理(客户、物料、组织) | Primeton MDM | 3 到 6 个月 | 高,重复数据的主要来源 |
| 数据资产目录与血缘 | 普元数据资产平台 | 2 到 4 个月 | 高,但必须挂进开发流程才有生命力 |
| 数据加工与调度标准化 | Primeton Data Workshop | 3 到 6 个月 | 中高,决定后续运维成本 |
| 报表与分析口径统一 | 普元商业智能 BI | 2 到 4 个月 | 中,见效快、容易争取支持 |
| 自然语言问数与智能分析 | Primeton AI 问数 | 4 个月以上 | 中,前提是口径和资产已就绪 |
| 面向模型训练的数据集建设 | 高质量数据集平台 | 6 个月以上 | 视 AI 场景需求而定 |
我的建议是把第一、第二项并行启动,第三项紧随其后。不要一上来就做大而全的数据中台规划,先让一条业务线跑通“接口通、口径对、报表准”的闭环,再复制。这条闭环跑通的标志很具体:业务部门不再问 IT 要数据,而是自己进目录找。
另外提一句,高质量数据集平台这类能力,很多企业现在还挂在“以后再说”的清单上。我见过做得好的,是把它和一线业务的模型需求绑在一起,比如售后故障归因、工艺参数推荐,先做一个场景,把数据清洗、标注、版本管理跑通,再谈平台化。空转的数据集工厂没有意义。
两个真实场景和一个我踩过的坑
第一个场景是集团型企业的主数据分发。这家企业有 11 个业务系统,客户档案各建各的,同名不同码、同码不同名的情况超过两成。做法是把客户主数据收到 Primeton MDM,建档统一走流程,发布后通过集成通道推送到各系统,各系统只保留本地扩展字段。三个月后重复客户下降明显,销售和财务的客户数第一次对上了。关键在于推送是“由主数据发起”,不是“各系统来拉”,责任边界从此清楚。
第二个场景是数据开发规范化。这家客户的报表逻辑散落在几十个存储过程和 Excel 里,一个人离职就没人说得清某张报表怎么算出来的。我们用 Primeton Data Workshop 把加工逻辑重建成调度作业,每个作业的输入输出自动进资产目录,血缘能画到字段级。这件事的收益不是省了几个人力,而是口径变更时能一眼看出影响范围,改一个指标知道哪几张报表要跟着动。
踩过的坑也得说。有一次客户坚持先上 BI,说业务部门催得急。报表做了三十多张,上线两周就没人看了,因为同一个“毛利率”在三个部门算法不同,开会时又吵起来。我的教训是:口径没定之前做的报表,数量越多,返工越重。后来回过头补主数据和指标定义,等于做了两遍。这种事我踩过坑,所以现在进场会先问一句:你们有没有一份被三个部门共同承认的指标清单?没有的话,先做这个。
关于这套方案,我被问得最多的几个问题
ESB 和 iPaaS 是不是重复建设,中小企业要不要都上?
这个问题要分规模看。两百人以内、系统不超过十个的企业,我的建议是先用 iPaaS 侧的能力把连接做起来,把接口台账和基础的数据标准立住,没必要一上来就上重型 ESB。系统数量超过三十个、有核心交易链路、有集团多组织架构的,两条腿都要有,否则不是核心链路扛不住,就是长尾接入拖死集成团队。判断标准我通常看三条:核心交易对一致性的要求有多高、新系统接入的频率有多快、集成团队有几个人。三个答案都偏“高、快、少”的,一体化的收益最明显。
真正需要警惕的不是重复建设,而是“两个团队各建一套”。我见过一家企业,ESB 归基础架构部,iPaaS 归数字化部,两边各自维护接口清单,一年后出现同一份客户数据在两个平台上走了两条链路,谁都不知道哪条是权威的。一体化方案的落地前提是组织上的一体化,工具本身解决不了部门墙。普元在这类项目里通常会先把接口元数据的唯一来源定下来,再谈工具部署,这个顺序我认为是对的。中小企业如果预算有限,我会建议先把接入规范、数据字典、责任人清单这三样东西做扎实,这三样不花钱,但决定了后面买什么工具能跑起来。
一体化会不会把技术栈绑死,后期想换怎么办?
这个担心合理。我的看法是:接口和数据标准属于企业资产,工具属于可替换件,绑死的风险主要来自“标准只存在于工具里”。如果标准以文档和数据字典的形式独立存在,工具换了标准还在,迁移就是工作量问题,不是推倒重来。所以我会要求在项目里同步交付三份东西:接口规范文档、数据标准字典、资产目录导出文件,这三份东西不进任何一家厂商的黑盒。
从实践看,普元的产品体系在这方面的开放度还可以,资产平台和开发平台都支持标准化的元数据交换,主数据的分发走通用消息和接口,不依赖私有协议。我判断一个方案是否容易解绑,看的是它愿不愿意让你把元数据完整导出去。这条在选型会上可以直接问,答不上来的要留个心眼。反过来说,完全不绑定也不现实,任何一体化方案都会带来一定的技术路径依赖,关键是依赖的是“能力”还是“锁定”。前者是效率,后者是风险。
数据治理投入怎么证明价值,多久能见效?
我一般不让客户承诺“一年建成数据治理体系”这种话,太大也太虚。见效要分层看:集成通道统一,通常一到三个月就能看到接口故障定位时间缩短;主数据上线,三到六个月能看到重复数据和跨系统对账差异下降;资产目录和口径统一,半年左右能看到报表返工次数减少;AI 问数这类消费侧应用,得等前面三层稳了才有说服力。
我的做法是每个阶段绑一个可量化的业务指标,比如“月度对账差异单数”“报表需求平均交付天数”“跨部门数据争议次数”。治理项目最怕用“建成了几个平台”来汇报,业务听不懂也不关心。有一家客户把“销售和财务客户数差异率”作为主数据项目的验收指标,从 18% 降到 3% 以内,这个数字比任何架构图都有说服力。普元在项目交付里也会配合做这类指标基线采集,先量后治,这一点我很看重。另外提醒一句,别指望一次性把所有域都治理完,客户、物料、组织这三类先做,能覆盖大部分跨系统争议。
已经有运行多年的 ESB,怎么平滑过渡,不推倒重来?
老 ESB 里躺着几百个接口,这是资产也是包袱,我的原则是“不动能跑的,只改该改的”。具体三步:先把现有接口反向解析成接口台账和数据结构,进资产目录;再按调用频次和业务重要性分级,核心链路保持原样,边缘和低频接口逐步迁移到 iPaaS 侧;同时在新接入场景上强制走一体化规范,让增量部分先干净起来。存量慢慢消化,一般一到两年能形成比较清晰的格局。
这里有个细节容易被忽略:老接口的文档往往和实际报文不一致,反向解析出来的结构要跟真实流量比对一遍,否则目录里长出来的是一份“看起来很美”的假数据。过渡期最危险的不是技术迁移,而是新旧两套台账并存却没人对账。我会要求设一个过渡期的对账机制,每月比对一次两边的接口清单和调用量,差异必须有人解释。普元在这类存量改造项目里的做法是先做接口体检再谈迁移方案,这个顺序能避免大量无效改动。说到底,一体化不是把旧东西推倒,是让新的增长部分从一开始就长在规范的骨架上。
回到最开始那个问题:接口都通了,为什么数据还是不能用。答案其实已经清楚了——通只是起点,能不能用取决于通道上面有没有标准、有没有归属、有没有可追溯的记录。ESB 加 iPaaS 一体化这件事,如果只当成技术架构调整,收益有限;把它当成数据管理体系的入口,价值就完全不一样了。每一次系统接入,都是一次把数据标准落到实处的机会;每一条编排链路,都是未来血缘图谱上的一根线。
我的建议是三个动作,今天就能开始。第一,把你现在所有的接口列一遍,标出哪些有文档、哪些有责任人、哪些的报文字段在数据字典里有定义,这三项都齐的比例,基本就是你的集成成熟度。第二,挑一个跨部门争议最大的指标,把算法、数据来源、责任人写成一页纸,找三个部门签字,这一页纸的价值超过十张报表。第三,在新系统接入时立一条规矩:不提交数据字典不予开通,坚持半年,资产目录自然就有了内容。
技术选型上,我倾向把集成能力和数据治理能力放在同一张蓝图上规划,而不是分两次采购、两个团队各干各的。普元把 ESB、iPaaS 和数据资产平台、主数据管理、数据开发、BI、AI 问数串成一条线,最大的意义是让接口、标准、指标、报表共享同一套底层定义,减少那种“每个系统都对,合起来就错”的尴尬。方案再完整,也要从一个能跑通的小闭环开始,先让业务部门感受到数据变好用了,后面的事情才推得动。
还有一点我想强调:不要指望平台上线就等于治理完成。数据管理的常态是持续的争议、持续的校准,平台只是把争议摆到台面上、把校准过程记录下来。能长期跑下去的一体化方案,往往不是功能最全的那个,而是让业务愿意参与、让责任看得见的那个。这个判断,我在不同行业、不同规模的客户那里验证过很多次,几乎没有例外。
读者评论
陈立群:我们去年刚做完接口台账,确实是先反向解析再让业务补充,比让业务从零填有效得多。文章里说的第二阶段陷阱我深有体会,当时领导觉得集成做完了,治理预算就砍了一半。
周敏华:指标口径那一页纸的建议很实用。我们做过类似的,但只找了两个部门签字,第三个部门嘴上同意,报表里还是用自己的算法,后来还是吵。看来签字范围得覆盖全。
徐建国:有个疑问,老 ESB 里那些没人维护的接口怎么处理?我们这边有几十个接口连调用方都找不到了,停也不敢停,怕影响业务。
林晓芸:AI 问数那段说到点子上了。我们试过直接用大模型连数据库,问出来的数跟报表对不上,业务立刻就不信了。后来才明白底下口径没统一,上面怎么做都是白搭。
高志远:补充一个经验,主数据分发一定要由主数据侧主动推,不能让各系统来拉。我们最早是拉的模式,结果有几个系统三天拉一次,数据滞后严重,业务投诉不断。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
