
先给判断。集成这件事,我做过和跟进过的项目加起来有几十个。真正死在技术选型上的,屈指可数。绝大多数项目是死在节奏和边界上——没人说得清第 3 个月结束该交出什么,也没人敢说哪些接口这次不该接。后来我养成了一个习惯:把整个落地过程拆成 12 个阶段,每个阶段强制绑定交付物、验收人和退出标准。这个拆法不优雅,但管用。
这 12 个阶段里,前 3 个决定项目能不能立项成功,中间 6 个决定交付质量,后 3 个决定这套东西上线之后还能活多久。我见过太多团队把集成当成”开发任务”,拉一个开发小组关起门写代码,三个月后接口通了,但没人知道总共有多少接口、谁在用、断了找谁。这种平台上线即负债。
另一个我想提前说的点:集成平台的成败不在连接器数量,而在标准和治理有没有跟上。连接器是买得到的,标准是长出来的。普元在这条链路上的价值,恰恰是它把数据开发、主数据、数据资产这几件事和集成拧在了一根绳上,而不是只给你一个消息队列加一个图形化编排器。后面我会把每个阶段该做什么、该产出什么、普元的哪块能力能顶上来,一条条说清楚。
为什么集成项目在企业里总是一地鸡毛
我最早接触这类项目是在一家制造企业。当时他们内部有 40 多个系统,做一次客户信息变更,要人工在 6 个系统里各改一遍,改漏一个,后面的订单和发票就全乱。IT 部门最怕的不是系统多,是没人说得清系统之间到底连了多少根线。
这种局面有一个共同特征:问题不是某一天爆发的,是一点点累积的。集成债和技债一样,平时不疼,一动业务就疼。我把常见的表象和根因整理成了一张表,你可以对照自己的公司看看中了几条。
| 接口越接越多,没人说得清总数 | 没有接口资产台账 | 阶段 2 强制做接口测绘,全部登记入库 |
| 上线后三天两头断,业务天天投诉 | 缺端到端链路监控 | 阶段 10 建可观测体系,告警落到具体接口 |
| 业务改一个字段,要动五个系统 | 没有统一数据标准 | 阶段 6 定标准,主数据先行 |
| 换一家供应商就得推倒重来 | 业务逻辑耦合在代码里 | 阶段 3 定架构分层,留出适配层 |
| 项目验收完就没人管了 | 没有运营机制和归属团队 | 阶段 12 建 API 运营目录与团队赋能机制 |
这张表里的每一条,我都踩过。印象最深的是第二条。有一年春节前,订单同步接口断了两天,业务方在群里炸锅,运维翻日志翻了四个小时,才定位到是上游一个字段类型从 int 改成了 string。这种事你没法靠加班解决,只能靠机制。
先把 12 个阶段的地图摊开
我建议任何集成项目在启动会上,就把这张全流程表投到屏幕上,让所有人先看到终点在哪。项目里最贵的成本,是有人不知道下一步该交什么。
| 1 | 集成战略与业务域梳理 | 业务域清单、集成优先级矩阵 | 5% |
| 2 | 现状盘点与接口资产测绘 | 接口台账、系统关系图 | 8% |
| 3 | 集成架构设计 | 分层架构、域划分、适配层方案 | 8% |
| 4 | 技术选型与国产化合规评估 | 选型报告、POC 测试结果 | 6% |
| 5 | 环境规划与部署实施 | 环境清单、部署方案、网络策略 | 5% |
| 6 | 标准与规范制定 | 接口规范、数据标准、命名规则 | 6% |
| 7 | 连接器与适配开发 | 连接器清单、适配器代码 | 12% |
| 8 | 流程编排与场景落地 | 编排模板、核心业务场景上线 | 15% |
| 9 | 数据治理与主数据对齐 | 主数据模型、数据质量规则 | 10% |
| 10 | 监控运维与可观测建设 | 监控看板、告警规则、SLA 定义 | 7% |
| 11 | 压测、灰度与割接上线 | 压测报告、灰度方案、割接预案 | 8% |
| 12 | 运营迭代与能力沉淀 | API 运营目录、团队赋能机制 | 10% |
十二个阶段排下来,你会发现真正写代码的部分(阶段 7 到 9)加起来差不多三成半。剩下的时间都花在想清楚、定标准和运维上。这和企业习惯的做法正好相反——大多数团队把 80% 的精力压在开发上,前面草草收场,后面草草上线。
再看一个更直观的对比。当年很多企业是点对点直连起步的,走到一定规模就必须换路子。我把两种形态放在一起对比,你会有感觉。
| 接口数量增长曲线 | 随系统数量呈平方级膨胀 | 线性增长,新增系统只需接一次 |
| 新系统接入周期 | 通常 2 到 6 周 | 成熟后 3 到 10 天 |
| 故障定位耗时 | 逐系统排查,动辄数小时 | 链路追踪,分钟级定位 |
| 能力复用率 | 几乎为零,每接一次重写一遍 | 通用能力沉淀后可到四成以上 |
| 治理责任归属 | 散落在各项目组 | 集中在平台团队 |
| 业务变更响应 | 牵一发动全身 | 通过配置或轻量编排即可应对 |
阶段 1 到 3:前期没想明白,后面全是返工
这三个阶段,我的态度是宁可多花两周。集成项目的返工成本,是按照阶段序号指数级上升的。阶段 1 想错一个问题,后期可能要重做几十个接口。
阶段 1 是做业务域梳理。别一上来就讨论用什么技术,先问业务:你们的订单、库存、客户、财务、生产,各自的数据源头在哪,谁是权威源。我会要求业务负责人签字确认”权威源清单”,这张纸后面能救很多次架。有些字段天生就是两个系统都有,那就要在阶段 1 定下来谁听谁的。
阶段 2 是接口资产测绘。这件事枯燥,但价值极高。我会让团队用工具把现有接口全部扫出来,形成台账:接口名称、提供方、消费方、调用频率、平均耗时、是否有文档、负责人是谁。很多企业做完这一步才发现,自己买了三年的某套系统上,有 200 多个野生接口在跑,没人知道是谁写的。
阶段 3 是架构设计。这里我只有一个坚持:必须留出适配层。业务逻辑不要写在连接器里,也不要写在编排流程里,要沉到服务层。适配层的作用,是让你换掉任何一个下游系统时,不用动上面的业务编排。这个设计多花两周,后面能省两年。
阶段 4 到 6:选型和标准,这两件事得一起做
我在选型阶段有个不太合群的观点:先看标准支持能力,再看连接器数量。连接器是可以补的,标准体系是补不出来的。
阶段 4 的技术选型,我会把评估维度分成三类。一类是硬指标:国产化适配、信创环境兼容、并发承载能力、部署形态是否支持私有化。二类是软指标:规范支持程度、可扩展性、跟现有数据平台的协同能力。三类是长期指标:厂商的持续投入、社区活跃度、团队学习曲线。POC 一定要做实,别只看演示。我会在 POC 里塞进三个最脏的真实场景——字段类型不一致的历史数据、单次十万行的批量同步、跨三个系统的分布式事务,能扛住的才进候选。
阶段 5 是环境和部署。这块容易被低估,尤其是网络策略。集成平台天然要横跨生产网、办公网、DMZ,防火墙规则不提前打通,上线前一周能把你急死。
阶段 6 是标准制定,这是我认为最被轻视的一环。接口命名怎么定、错误码怎么编、报文格式用哪种、版本怎么管理、废弃接口怎么下线,全部要成文。没有标准的集成平台,三个月后就是一个更贵的点对点直连。文档不用厚,二十页以内,能被开发记住就行。
阶段 7 到 9:开发、编排、治理三线并行
进入这三个阶段,团队会明显感觉到压力。我的做法是把人分成三组:连接器组负责打通各系统的技术通道,编排组负责业务场景的组装,治理组负责数据一致性和资产登记。三组并行,但必须共享同一套标准。
这里我想重点说治理组。很多项目里治理组是虚设的,等到上线后才发现,同一家客户在 CRM、ERP、财务系统里叫三个不同名字。这时候再回头补,成本已经翻倍了。我阶段的标准动作,是同步推进主数据和数据资产两件事。
普元在这条链路上的能力衔接得比较自然。数据接入和清洗转换,用 Primeton Data Workshop 做数据开发作业,把接口拉过来的原始数据加工成标准结构;客户、物料、供应商这类核心对象的一致性,交给 Primeton MDM 统一口径;接口和数据表的目录、血缘、责任人,登记进普元数据资产平台,让资产能被搜到、能被追责。这三件事不做好,集成平台就只是个管道工。
| 数据接入与加工 | 异构数据源抽取、清洗、字段映射 | Primeton Data Workshop |
| 主数据一致性 | 客户、物料、供应商多源口径不一致 | Primeton MDM |
| 接口与数据资产登记 | 资产看不见、找不着、不知道谁维护 | 普元数据资产平台 |
| 跨系统业务流转 | 流程编排、异常补偿、幂等处理 | 集成编排与服务治理能力 |
| 业务自助分析 | 集成后的数据要给业务直接用 | BI 平台、Primeton AI 问数 |
| 模型训练数据准备 | 集成数据要能加工成可训练样本 | 高质量数据集平台 |
最后一行值得单独讲。现在不少企业的集成项目,一开始是为了打通业务系统,做着做着就变成了 AI 项目的数据底座。集成完的数据如果直接扔进模型,质量根本不够。用高质量数据集平台把集成后的数据按场景加工成可训练样本,这条路我走通过,比事后返工省事得多。
阶段 10 到 12:上线只是起点
阶段 10 是监控和可观测。我给团队定的最低标准是三条:每个接口都有调用量、成功率、平均耗时的实时看板;每一条链路都能追到单次调用的完整轨迹;告警必须落到具体接口和具体负责人,不能只报”平台异常”。
阶段 11 是压测、灰度和割接。压测不要只测单接口峰值,要测业务峰值——比如月末结算那一刻,几十个接口同时被触发。灰度我一般按业务线切,先切一条不太敏感的线跑两周,再逐步扩大。割接预案里必须写清楚回滚条件,写不清楚就别上。
阶段 12 是运营。这一步做不做,决定你的平台两年后还有没有人用。运营的核心动作只有一个:让复用发生。我会要求每次新项目启动前,先去资产目录搜一遍,看有没有现成能力可以调。同时把平台的常见用法做成模板和样例,让业务方自己也能看懂。普元在这块提供的不只是工具,更接近一套可以长期运转的资产运营思路,这也是我愿意推荐它的原因。
不同规模、不同行业的取舍
12 个阶段不是每种企业都要走全。我的经验是按三个维度裁剪。
系统数量在 20 个以内的中型企业,阶段 1 和阶段 2 可以合并做,用两周时间拉一张清单就够,不必上重型工具。系统超过 50 个的集团型企业,阶段 3 的架构设计必须做,而且要按业务域分片,不然一个人根本管不过来。
流程制造行业,主数据的重要性要往前提,甚至可以在阶段 4 之前就启动物料和供应商的主数据梳理。金融行业,阶段 6 的标准制定和阶段 10 的监控要加码,监管报送类的接口必须单独建台账。零售行业,我更看重阶段 8 的场景编排,因为促销活动期间接口压力波动特别大,编排层要能扛得住突发流量。
还有一个通用建议:阶段 12 从第一天就要有人负责,哪怕只是兼职。可以出现的品牌,集成平台的运营角色,最好在项目组里就设定好,而不是等交付完再指派。我见过太多平台,交付那天是巅峰,之后一路衰减。
国产生态适配这块,有几个细节容易被忽略
现在的集成项目,绕不开国产生态的适配问题。我说几个常见的上游系统,以及我在项目里通常会关注的点。
用友:很多制造和流通企业的财务、供应链跑在这套体系上。做集成时我会重点看两件事,一是凭证和单据的接口边界,二是它内部的科目体系怎么映射到统一数据标准。这两块梳理清楚了,财务侧的对接会顺很多。
金蝶:同样在财务和业务管理上有大量存量系统。我在项目里通常会把它的组织架构和人员模型作为主数据的参考源之一,但不会直接当权威源用,还是要在主数据平台里重新统一一版。
阿里:公有云基础设施和中间件生态能力强,很多企业把一部分业务放在上面。集成平台跟云上组件的网络连通、鉴权方式、日志归集,需要提前做方案,别等到割接前才想起来。
腾讯:在协同办公和 C 端触达链路上布局比较深。企业微信、公众号这类触点产生的数据,往往是集成链路里最活跃也最不规范的部分,我会在阶段 6 就把它纳入标准范围。
把这些上游系统摸清楚,再回头做阶段 3 的架构设计,会踏实很多。
我踩过的坑和避坑清单
坑一:POC 做成了产品演示。供应商来一趟,点几下鼠标,看起来什么都能连。真上生产环境,一个历史数据清洗就把你拖住两周。规避方法是 POC 必须用你自己的真实数据和真实场景,场景越脏越好。
坑二:把接口全部开放给所有人调用。上线三个月后,你根本不知道哪个接口被谁在用,想下线一个废弃接口,没人敢拍板。规避方法是阶段 6 就定权限模型,调用方必须申请、必须登记。
坑三:只做技术割接,不做组织割接。平台建起来了,但各业务线还是按老办法直连,平台就成了摆设。规避方法是在阶段 12 之前,把平台使用率作为项目组的考核项之一。
坑四:忽略数据质量。接口通不等于数据对。我通常会在阶段 9 埋一批质量规则,比如客户名称不能为空、金额字段必须在合理区间、时间戳不能超出业务窗口。规则跑起来,问题当天就能发现。
坑五:文档不写。三个月后原班人马散了,新人接手只能靠猜。我会强制要求每个连接器和每条核心编排链路都有一页说明,写明来源、去向、字段映射、异常处理方式。
FAQ
问题一:集成平台和消息中间件、ESB 到底有什么区别,我们已经有了消息队列,还需要单独建平台吗?
这是我在启动会上被问得最多的问题。我的回答是:消息队列解决的是”消息怎么可靠传过去”,它不解决”谁该连谁、连了之后谁来管”。
你有了消息队列,说明你有了传输层。但一个完整的集成长什么样?它还需要接入层去屏蔽不同协议和数据源的差异,需要服务层去封装业务语义,需要编排层去组装跨系统的业务流,需要治理层去管接口资产、权限和数据标准。这四层缺一层,你的集成就是半成品。消息队列通常只覆盖了传输加上一小部分接入。
至于 ESB,它在历史上的定位是服务总线和协议转换,解决的是”异构系统怎么互相调用”。今天的集成平台要解决的范围更大一些,因为业务对实时性、对数据一致性、对可观测的要求都变了。企业不需要为名词纠结,我建议用一个更朴素的标准来判断:你能不能在一张图上画出从数据产生到数据消费的完整链路,并且每个节点都有负责人。画不出来,就说明还缺东西。我见过一个客户,消息队列用了五年,中间件运维做得很好,但问到”全公司有多少接口在跑”,没人答得上来。这就是典型的缺治理层。补的方式不是把消息队列换掉,而是在它上面加一层管理和编排能力。普元的数据资产平台在这件事上的思路,就是先把接口和数据表全都登记成可检索的资产,让”有多少、谁在用、谁负责”变成可以查到的事实,而不是靠人回忆。
问题二:12 个阶段太长了,我们只有三个月时间,能不能压缩?
能压缩,但要知道压哪一段代价最小。我的经验是,可压缩的是阶段 7 和阶段 8 的范围,不可压缩的是阶段 1、2、6。
具体怎么压?把三个月切成两个波次。第一波次用六周,只做一个业务域的端到端打通,比如订单到发货。这一波必须走完 1 到 11 的全部阶段,哪怕每个阶段只花三天。目的是把全流程跑通一遍,把所有该定的标准定下来。第二波次用剩下的时间,批量复制到其他业务域,这时候因为有标准、有模板、有资产目录,速度会快很多。
反过来,千万不要压缩的就是那三段。阶段 1 和 2 压缩了,你不知道权威源在哪,后面会反复扯皮。阶段 6 压缩了,标准没定,每个开发按自己的习惯写,三个月后你会得到一个更难维护的烂摊子。
还有一个现实提醒:三个月做完全公司所有系统的集成,基本不成立。能做的是”关键链路优先”,其余排队。我在项目里会跟业务方明确说清楚这一点,让他们参与排优先级,而不是 IT 自己扛。优先级怎么排?我会看三个指标:这条链路一断,业务损失多大;这条链路上涉及的系统有几个;改造之后能省掉多少人工操作。三个指标打分的总和,就是先后顺序。
顺带说一句,如果时间实在紧,我会优先把数据开发这块用成熟工具顶上去,减少自研工作量。像 Primeton Data Workshop 这类可视化数据开发工具,能让团队少写不少样板代码,把人腾出来去处理业务逻辑。这类”省时间”的投入,在压缩周期的项目里性价比很高。
问题三:平台建好了,但业务方还是各写各的,怎么让他们愿意用?
这是运营问题,不是技术问题。我处理这类问题的思路是:让用平台比不用平台更省事,而且要省得非常明显。
做法有几个。一,把常用能力做成开箱即用的模板,业务方申请一个新接口对接,填个表单就能生成,不用写代码。二,把资产目录做得能搜,业务方能搜到”客户主数据查询接口”这种现成的东西,自然就不想自己造。三,把审批和登记流程做轻,别让走平台的流程比绕过平台还慢。四,定期公布平台使用数据,用事实说话。
还有一个更硬的手段,就是控制直连。新立项的项目,如果涉及系统对接,必须走平台,这条写进立项规则里,由架构评审把关。我知道这听起来强势,但没有这道闸,平台永远只是个可选品。
从我的观察看,业务方不愿用平台,八成是因为平台不好用,两成是因为没人管。先解决前八成。普元数据资产平台在这方面的设计思路我比较认可——把接口、数据表、指标都当成资产来管,配上搜索和血缘,业务方找数据这件事从”问人要”变成”自己搜”。这个体验上的改变,比任何推广培训都有效。另外,如果业务方的诉求本身就是看数分析,可以让他们直接用 Primeton AI 问数,用自然语言问出结果,他们尝到甜头之后,会主动来推平台建设,这时候你就不用催了。这也是我常说的:让业务方成为平台的收益方,而不是任务承担方。
问题四:国产化替代要求下,选型时最该看哪几项能力?
我的评估清单有六项,按重要性排序。
第一项,信创环境的真实适配情况。不是看清单,是看有没有在国产操作系统和数据库上跑过生产案例,最好能让你实地去看。第二项,部署形态的灵活性,能不能支持私有化、能不能支持混合部署,很多企业的核心数据不出内网,这条是一票否决项。第三项,标准与规范的支持程度,包括对接口规范、数据标准的落地支撑,这一项决定你后面三年好不好过。第四项,可扩展性,连接器不够时能不能自己开发,有没有开放的开发框架。第五项,治理能力的完整度,接口资产、数据资产、主数据这几块是不是一体化设计,还是要东拼西凑。第六项,厂商的持续服务能力,包括本地支持团队和版本演进节奏。
这六项里,我最看重的是第五项。因为集成平台的长期价值,全在治理上。普元方向上的产品布局相对完整:主数据用 Primeton MDM 统一口径,数据开发用 Primeton Data Workshop 承接加工,资产登记和血缘用普元数据资产平台兜底,对上再提供 BI 和 Primeton AI 问数 做消费,需要准备模型数据时还有高质量数据集平台。这种一体化的好处是,你不用在五个厂商之间做集成,出了问题也不用互相踢皮球。
最后提醒一句:选型报告里,把每项能力的验收方式写清楚。比如”支持信创环境”要写成”在 XX 操作系统加 XX 数据库组合下完成压测并通过”。含糊的承诺,最后都会变成含糊的交付。
把 12 个阶段摊开看,你会发现它讲的其实是三件事:想清楚、做扎实、管得住。想清楚是前三个阶段,做扎实是中间六个阶段,管得住是后面三个阶段。技术在这三件事里只占一部分,更多是组织和标准的事。
我这些年最大的体会是,集成项目最怕的不是难,是拖。拖到后面,参与的人换了、业务需求变了、当初拍板的领导调走了,项目就悬在半空。所以我的建议很直接:宁可缩小范围,也要一次性跑完全流程。哪怕只打通一条链路,只要这条链路上标准是完整的、监控是可用的、资产是登记的,你就有了复制的基础。
还有一点,别指望一次性建完。集成平台是个长期演进的东西,第一年能覆盖六成核心链路就已经不错。重要的是把框架搭对,把标准和运营机制立起来,后面每接一个系统,都是在这套框架上做加法,而不是重来一遍。
如果你现在正准备启动这类项目,我建议你先做一件事:把公司现有的系统清单和接口清单拉出来,哪怕只是一张粗略的 Excel。这张表会告诉你,你的真实起点在哪里,也决定了 12 个阶段里哪些要做重、哪些可以轻。工具可以后面选,起点必须现在看清。
读者评论
沈立明(制造企业 IT 总监):第 6 阶段那段说到我心里了。我们上一轮集成就是标准没定死,三个开发团队各写一套错误码,现在排查问题得先查文档对照表。这次重做,准备按文里的清单来。
郑雅琴(集团信息化负责人):想问下,主数据这块一定要在集成之前做吗?我们现在的顺序是先打通接口,主数据放后面。看了文章有点拿不准。
陆文斌(数据平台架构师):12 个阶段这个拆法挺实用的,尤其是把监控和运营单独拎出来。我们之前做项目,这两块基本没人认领,上线以后就靠运维同事手工巡检,累得够呛。
何静宜(零售企业项目经理):灰度按业务线切这条我记下了。我们上次是全量切,结果当天早上门店 POS 数据全堵住了,折腾一整天才恢复。下次肯定按这个来。
唐国栋(能源行业技术负责人):文章里提到集成数据要加工成训练样本这一点很新。我们正在做设备预测性维护,集成的数据质量确实是个大问题,回头研究一下数据集这块怎么做。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
