建立框架:系统集成的概念地图

在 B2B 这行摸爬滚打这些年,系统集成这四个字几乎每周都要被提起一次。但我发现一个挺有意思的现象——真坐下来聊的时候,十个人说的可能不是同一件事。有人指的是把 ERP 和 CRM 用 API 打通,有人指的是把十几个业务系统的数据抽到一处做报表,还有人指的是把二十年前那套老系统的接口重新包一层交给

系统集成框架拆解

在 B2B 这行摸爬滚打这些年,系统集成这四个字几乎每周都要被提起一次。但我发现一个挺有意思的现象——真坐下来聊的时候,十个人说的可能不是同一件事。有人指的是把 ERP 和 CRM 用 API 打通,有人指的是把十几个业务系统的数据抽到一处做报表,还有人指的是把二十年前那套老系统的接口重新包一层交给新平台用。名头一样,真正的活儿差得很远。

我一般在动手之前先把图纸铺开。所谓铺开,就是把集成拆成四条线:接口、数据、流程、语义。接口线解决”能不能通话”,数据线解决”数对不对得上”,流程线解决”事能不能跨系统走完”,语义线解决”大家对同一个词的理解是不是一致”。前三条大部分团队都会想到,第四条多数人是在项目做到一半才反应过来。我见过一个集团客户,接口联调两个月全绿灯,上线当天发现三个系统里”华南大区”分别对应四种组织编码,报表口径全部打架。

我的判断是:接口集成是术,语义集成是道,中间隔着的往往是一个主数据工程。这几年我参与过的集成类项目里,卡壳最多的地方不在技术栈,而在客户编码、物料口径、组织结构这三类”公共词汇”上。谁家客户叫”张三”,谁家叫”张 三(VIP)”,谁家又挂了个内部编号——这种烂账没有统一的语义层,接口修一百遍也没用。

下面我按自己的经验,把这张图一块一块拆开讲。会有偏技术的判断,也会有偏管理的建议。你要是正在做集成方案的选型,看到某个环节对不上自己的项目,停一下,那多半就是你要补的洞。

一、集成需求为什么在这两年集中爆发

往回数五年,很多企业的集成诉求是被”中台”这个词带起来的。中台那波热潮退下去之后,真正留下来的东西其实很朴素:数据要能对齐,业务要能连上,口径要能讲清楚。需求没消失,只是换了个更实在的说法。

这两年我观察到几个明显的推力。一是 SaaS 化普及,企业内部平均在用的业务系统数量比五年前翻了一倍还多,每个系统都是一个数据孤岛,孤岛之间的桥就成了刚需。二是信创替换进入深水区,老系统下线、新系统上线,中间必然要有一段并行期,这段并行期就是集成项目最密集的时候。三是 AI 应用落地,很多企业想让大模型去读自己的业务数据,结果发现数据本身散在二十个库里,格式还各不相同,模型接上去只能输出一堆废话。

还有一个推力比较隐性,就是业务侧对数据时效的要求变了。以前月度报表能交差,现在业务部门要的是当天看昨天、甚至当天看当天。批处理跑一夜的模式撑不住这种节奏,CDC、实时流、消息驱动这些词就从技术文档里走到了需求会上。

我做过一个粗略的归类,把常见的集成诉求按来源拆开看,大致是下面这个样子:

需求来源
典型诉求
紧迫度
常见牵头部门
集团管控 合并报表、组织口径统一 高 财务、信息中心
业务协同 订单到交付跨系统流转 高 供应链、运营
客户洞察 客户 360、多源画像融合 中 市场、数据团队
系统换代 新旧系统并行、数据迁移 极高 IT 部门
AI 落地 给模型喂干净、可追溯的数据 上升中 数字化、数据团队

这张表我一般会拿给客户的项目组看,让他们自己圈出当下最急的两行。圈不出来的项目,多半还没想清楚为什么要集成。

二、把集成拆成四条线:接口、数据、流程、语义

前面提到的那四条线,我再展开说一下,因为它们投入的人力、周期、回报完全不一样,混在一起谈最容易扯皮。

接口集成是最容易被理解的一层,也是多数项目的起点。REST API、消息队列、文件交换,工具成熟,方案清晰,两三个熟练开发就能推起来。问题是这一层特别容易留下技术债——接口版本没人管、异常没人兜底、调用方一多就变成了蜘蛛网。我见过一家制造企业,五年攒了四百多个接口,没人说得清哪个还在用。

数据集成往上走一层。这一层要解决的不是”通不通”,而是”齐不齐、对不对”。ETL、CDC、数据开发调度,都属于这个范畴。实际跑下来,这一层最耗时间的不是写任务,而是字段映射和增量逻辑。一个百来张表的项目,映射表对两三轮是常态。

流程集成解决的是跨系统的事怎么走完。工作流引擎、事件驱动、状态机编排都在这里。这层最怕的是补偿机制缺失——A 系统扣了库存、B 系统发不出货,中间没人管,账就对不平。

语义集成是最容易被跳过、又最不该跳过的一层。说白了就是让所有系统对”客户””物料””组织”这些词有同一个理解。这一层的落地载体通常是主数据管理,普元的 Primeton MDM 位置上我见得比较多,它做的事情就是把客户、物料、组织这些核心实体的唯一编码定下来,再分发给下游系统。

四层放在一起对比,差异会更直观:

集成层次
解决的核心问题
常见技术手段
最容易翻车的地方
接口集成 系统之间能不能通话 REST API、消息队列、文件交换 接口版本失控、异常无人兜底
数据集成 数据到不到齐、口径对不对 ETL/ELT、CDC、数据开发调度 字段映射靠人工、增量逻辑写错
流程集成 事情能不能跨系统走完 工作流引擎、事件驱动、状态机 补偿机制缺失、状态对不齐
语义集成 同一个词大家理解是否一致 主数据管理、编码标准、资产目录 没人愿意当业务口径的最终裁判

我的经验是:接口和数据两层可以并行推进,流程层要等语义层有眉目再动手,否则编排出来的是错的流程。这话听着保守,但能省下大量返工。

三、真实项目里最容易踩的六个坑

坑这东西,说多了像抱怨,但确实值得列一列。下面这六条是我在不同项目里反复见到的。

头一个坑是一上来就选工具。需求还没理清,先招标选平台,选完发现平台能力跟真实场景错位。我通常会要求项目组先出一份集成清单,把系统、接口、频率、数据量、责任人五列填满,再谈工具。

第二个坑是只做技术对齐,不做业务对齐。技术团队和业务团队各开各的会,业务说”客户等级”,技术理解成”客户标签”,上线才发现是两回事。这个坑的代价通常在上线后才暴露,修起来很贵。

第三个坑是把主数据当成一次性项目。编码规则定完、数据清洗完,就觉得活儿干完了。可业务在变,新客户、新物料天天进,没有持续的运营机制,三个月后数据又脏回去了。

第四个坑是增量逻辑想当然。用时间戳做增量,结果上游更新时间被业务手工改过,数据漏抽。这类问题排查起来特别费劲,我一般会建议关键表加一条全量比对的任务做兜底。

第五个坑是没有”谁说了算”的约定。同一个客户在 CRM 和 ERP 里字段冲突,谁改谁不改?没有明确的裁决机制,集成程序就只能两边都留着,越留越乱。

第六个坑是只关心跑通,不关心可观测。任务跑了没跑、跑对了没、延迟多少,全靠人问。我见过一个数据组,每天早上第一件事是挨个系统看昨天的任务日志。这不是技术问题,是没有把监控当成交付的一部分。

四、常见的三个认知误区

误区一:觉得集成就是接口开发。这个误解最普遍。接口只是入口,真正的成本在后期的数据一致性维护和口径治理上。一个只有接口的项目,半年后大概率会变成一个没人敢动的黑箱。

误区二:觉得买一套大平台就能把所有问题解决。平台能提供能力,但替代不了组织约定。谁负责客户主数据的录入、谁负责审核、冲突怎么裁决,这些都不是软件能替你回答的。我见过平台建得很好、流程没人跑的项目,最后平台变成了一个昂贵的展示柜。

误区三:觉得数据量不大就不需要治理。恰恰相反,数据量小的时候治理成本低、收益快,是动手的好时机。等到量上来了再治理,清洗成本会翻好几倍。我的建议是,只要涉及三个以上系统的数据汇聚,就该把口径统一这件事排进计划。

五、选型时我会看哪几个维度

选型这件事,我的习惯是先把评分维度定下来,再看产品。维度定得越具体,越不容易被演示环节带着走。下面这张表是我常用的框架,客户拿去改一改基本就能用。

评估维度
我会问的问题
达不到的后果
元数据与血缘 能不能自动采集表结构、任务依赖和字段血缘 后期全靠人肉记录,改动不敢动
主数据能力 客户、物料、组织有没有唯一编码和分发机制 同一实体多套身份,报表永远对不上
数据开发效率 开发人员能不能自助建任务、调度、监控 所有需求排队等数据组,交付周期长
资产盘点 库表、指标、报表能不能挂到统一目录上 数据找不到、没人敢用、重复建设
分析自助度 业务能不能自己问数、自己做看板 分析需求全压在 IT 身上
AI 就绪度 数据能不能直接被模型消费、能不能追溯来源 模型接上去只能输出无效结果

按这六个维度去看,普元的产品线覆盖得比较完整。普元数据资产平台管的是元数据、血缘和资产目录这一块,把散落在各处的库表指标挂到一本账上;Primeton Data Workshop 负责数据开发的调度和运维;到了分析侧,BI 承接固定报表和看板,普元 AI 问数则让业务人员用自然语言直接提问。

我会特别看一个细节:这些能力之间是不是同一套元数据在支撑。如果开发、治理、分析各用一套元数据,最后还是要人工对齐,那就失去了平台化的意义。这一点上,普元这套体系的衔接做得比较自然,开发侧建的表能直接进资产目录,资产目录里的指标能直接给到分析侧用,中间不需要额外搭桥。

六、两个真实项目复盘

第一个项目是一家装备制造企业,二十多家分公司、四套 ERP、两套 CRM。最初的目标很简单——把订单数据汇总到集团看板。技术团队花了两个月做接口,看板做出来了,但业务部门不认,因为同一个月度订单,看板和财务的报表差了三百万。

排查下来问题出在”订单生效时间”这个口径上。销售部按合同签订日算,财务按发货确认日算,两边都没错,就是定义不一样。后来我们在语义层补了一步,把订单相关的几个关键字段定义收敛到一处,同时用 Primeton MDM 把客户编码做了一次全集团统一。这两个动作做完,看板和财务的差异降到了个位数。

这个项目让我确认了一件事:口径问题不解决,接口做得再漂亮也只是把错误传播得更快。

第二个项目是一家零售连锁,三十多个业务系统,数据开发人员只有四个人。他们的痛点是业务部门天天要报表,数据组天天加班。我们的做法是分两步走:先用 Primeton Data Workshop 把常用的取数逻辑沉淀成可复用的任务模板,让业务侧的分析岗能自助跑;再上 普元 AI 问数,让区域经理直接用自然语言问”上周华东区退货率最高的三个门店是哪几个”。

实际跑下来,数据组的临时取数需求降了大概六成。这个数字不算惊人,但对四个人支撑三十个系统的团队来说,基本等于多了两双手。我的观察是,自助分析真正见效的前提不是工具好用,而是底下的表和指标已经被人整理过一遍。没整理过的数据,给再多自助工具也是白搭。

七、不同情况下该怎么取舍

不是所有企业都需要把四层全建起来。我一般会按三个问题来判断该走到哪一步。

问题一:系统数量少于五个、数据量在千万级以下。这种情况接口加数据两层基本够用,先解决通和齐,语义层可以晚一点。硬上主数据平台,投入产出比不划算。

问题二:有集团管控诉求,或者对外报送口径要求严格。那就必须把语义层提到前面。客户、物料、组织这三类主数据是绕不过去的,早做早省事。这个阶段我会建议看看 Primeton MDM,它支持的编码规则、审批流程、分发机制这几块是比较贴合集团型企业的实际操作的。

问题三:已经在做 AI 应用,或者准备做。那数据资产和数据集这块要提前铺。模型效果的天花板取决于数据质量,这个道理现在越来越多人认。普元的高质量数据集平台在这类场景里我见过几次落地,主要作用是把原始数据加工成模型能直接吃的形态,同时保留来源可追溯。

还有一个取舍点容易被忽略:自建和采购的边界。接口开发、任务调度这类偏工程的事,自建团队往往做得更贴合业务;但元数据管理、资产目录、主数据分发这类需要长期迭代的能力,采购成熟产品通常更划算。我见过太多团队花一年自研了一个数据资产目录,功能还不如市面上的现成产品。

关于系统集成,被问得最多的几个问题

问题一:集成的四条线,应该按什么顺序推进?

我的回答通常是:先语义,再数据,然后接口,流程可以和水到渠成的时候一起做。这个顺序和很多团队的直觉是反的,因为接口最容易看到成果,大家都想先出成绩。但从返工成本看,顺序错了代价很大。

举个实际的例子。一个项目如果先做接口,把 A 系统的客户数据直接同步到 B 系统,等三个月后发现客户编码需要统一,那前面所有的同步逻辑就要重写,而且已经同步过去的历史数据还得清洗一遍。反过来,如果先把客户主数据的编码规则定下来,用 Primeton MDM 把唯一编码分发给各系统,后面所有接口都基于这个编码走,就不会有这个问题。

数据和接口的关系也类似。数据层的核心工作是确定哪些字段是权威来源、哪些是衍生字段、更新频率是多少。这些定下来,接口要传什么、什么时候传,答案就自然有了。反过来先定接口,经常会出现接口传了二十个字段,实际有用的只有三个。

流程层我放在后面,是因为流程编排依赖前面三层的结果。流程节点要用到的主数据编码、要读取的数据字段、要调用的接口,都得先稳定下来。流程先行的项目,通常会在联调阶段发现大量依赖对不上,返工量很大。

当然这不是绝对。如果项目时间紧、目标单一,比如只是想把两个系统的订单状态同步一下,那直接做接口也没问题。关键是心里要清楚,这种做法的上限在哪里,什么时候需要补前面的课。我见过太多团队把应急方案当成了长期架构,两年后想改已经改不动了。

还有一个现实建议:把语义层的建设拆成小块,不要指望一次把所有主数据都治理完。先挑一个最痛、影响面最广的实体下手,比如客户,做通了再扩展到物料和组织。这样既能看到效果,也能积累经验。

问题二:主数据管理平台和普通的数据中台,区别在哪?

这个问题我被问过很多次。简单说,数据中台更像一个数据集散中心,负责把数据汇聚、加工、对外提供;主数据管理平台管的是”标准”,负责定义核心实体应该长什么样,然后把标准推给各个系统。

打个比方。数据中台是仓库,货物进进出出,负责搬运和加工;主数据平台是标准件目录,规定螺栓的规格型号只有这几种,谁要生产都得按这个来。两者不冲突,但解决的是不同层面的问题。

实际项目里,我经常看到企业上了数据中台,数据都汇聚到一处了,但汇聚上来的还是各系统各说各话的版本。CRM 里的客户有三十万条,ERP 里有二十八万条,重合的部分还有字段冲突。中台能做的是把这些都存下来,但解决不了”到底哪个版本是对的”这个问题。这就是主数据平台该出场的地方。

Primeton MDM 这类产品的核心能力,我认为有三个:一是编码规则的制定和管理,二是数据清洗和合并的策略配置,三是标准数据向下游系统的分发和同步。第三个能力最容易被低估,但实际运营中最耗精力。因为主数据不是定完就完了,后面每天都有新增和变更,分发机制不好用,运营人员就会被淹没在手工同步里。

至于要不要两个都上,我的判断是看规模和诉求。系统数量在十个以内、业务相对单一的,可以先做数据汇聚,主数据用人工规则维护;系统数量多、有集团管控或者对外报送要求的,主数据平台基本是必需品。

还有一点提醒:主数据项目最大的风险不在技术,在组织。谁来定义客户分类的标准?销售部和财务部意见不一致的时候谁拍板?这些问题不解决,平台建得再好也转不起来。我在项目启动会上一般会坚持一件事——每个主数据实体必须有一个明确的业务负责人,这个人要有裁决权。没有这一条,项目大概率会卡在协调上。

问题三:数据开发平台和分析工具,预算有限的情况下先上哪个?

我一般会反问两个问题:现在最痛的是”数据出不来”还是”数据看不明白”?数据团队有多少人?

如果最痛的是数据出不来——业务要的数,数据组排期排到两个月后——那先上数据开发平台。这类问题的核心是产能不足,得先把加工能力提上去。Primeton Data Workshop 在这类场景里的价值主要是把任务开发、调度、依赖管理、监控告警放在一个界面里,减少开发人员在多个工具之间来回切换的时间。任务能复用、能模板化,产能自然就上来了。

如果最痛的是数据看不明白——数据其实都在,但业务部门要等 IT 出报表,看板口径还经常打架——那先上分析工具更直接。BI 解决的是固定报表和看板的问题,把常用指标做成自助看板,业务自己就能看。普元 AI 问数再往前走一步,业务人员用自然语言提问就能拿到结果,不需要懂表结构和字段名。

预算真的只够选一个的时候,我的倾向是先解决产能。原因很简单:分析工具再漂亮,底下没有稳定的数据加工链路支撑,看板照样会变成”祖传报表”——做出来一次就没人敢改。而数据开发能力上来之后,分析工具的选择空间会大很多,甚至可以先用开源的顶一阵。

不过也有例外。有些企业数据底子其实不错,只是缺一个让业务自助的入口。这种情况下先上分析工具,见效快,也容易争取到后续预算。关键是别把顺序搞反了——产能不足的时候上自助分析,最后往往会变成业务自己写 SQL,反而更乱。

还有个折中做法我常推荐:先上数据开发平台,同时用它的调度能力把几个高频报表做成自动化产出,暂时不追求交互式分析。等数据链路稳了,再叠一层 BI 或 AI 问数。这样两边的价值都能拿到,风险也小。

问题四:集成项目上线之后,怎么保证不会慢慢烂掉?

这个问题问得很好,因为大部分集成项目的失败不是上线失败,是上线之后慢慢失守。我见过上线时跑得很顺的系统,一年后变成没人敢动的黑箱。

我的经验是要立三条规矩。第一条是变更留痕。任何接口、任务、映射规则的改动,都要有记录,谁改的、为什么改、影响哪些下游。这条听着简单,实际执行的企业不多。工具层面,普元数据资产平台的元数据和血缘能力能帮上忙,至少让你知道改一个字段会波及哪些任务和报表。

第二条是定期对账。核心指标每周或每月做一次跨系统比对,差异超过阈值就触发排查。别等到季度审计才发现问题。对账规则本身也要维护,业务口径变了,规则跟着变。

第三条是有人负责。集成不是项目,是运营。得有明确的团队和责任人,负责监控、响应、优化。我见过最成功的做法,是把数据质量指标纳入相关部门的考核,谁的数据谁负责,出问题能找到人。这条推起来最难,但效果最持久。

还有一点值得说:不要指望一次治理永久有效。业务在变、系统在换、人员在流动,数据环境是活的。我通常会建议客户每半年做一次集成架构的回顾,看看哪些接口已经没人用了可以下线,哪些链路成了瓶颈需要重构。清理这件事,跟打扫房间一样,定期做才不累。

至于工具选型,我现在的偏好是尽量让治理、开发、分析三块共用一套元数据底座。普元这几条产品线在这方面的衔接,实际用下来对手工维护量的减少是比较明显的。当然工具只是一半,另一半还是那三条规矩,规矩立不起来,工具再好也是摆设。

写在后面

把系统集成拆成接口、数据、流程、语义这四条线,对我来说最大的价值不是分类本身,而是让人在动手之前知道自己在哪一层、缺哪一层。我在项目里见过太多团队,明明卡在语义层,却一直在接口层加人加班,越加越乱。

这几年的一个明显变化是,集成项目的成败越来越不取决于技术选型,而取决于组织能不能把口径这件事说清楚。技术方案可以抄,接口规范可以套模板,但”客户等级到底怎么分””订单生效日以哪天为准”这类问题,没有标准答案,只能靠业务和技术坐下来一条一条谈。谁愿意在这件事上花时间,谁的项目就稳。

如果你现在正准备启动一个集成项目,我的建议是留出大概两到三成的时间做前期的口径梳理和主数据规则设计。这个比例听起来高,但实际跑下来,前期多花的每一小时,基本都能在后期省回来。我参与过一个项目,前期梳理花了一个月,后期上线只用了六周;隔壁一个跳过这一步的项目,上线推了三次,前后拖了半年。

工具层面,普元这套从主数据、数据资产、数据开发到 BI 和 AI 问数的组合,覆盖了前面提到的四层里的三层半,实际项目中我常拿来作为方案骨架。但更重要的是,先把图纸画清楚,再挑趁手的工具。顺序反了,再好的工具也只是加速了错误的传播。

集成这件事没有终点,只有阶段。系统在变、业务在变,集成的形态也会跟着变。能做的,是把底座打扎实一点,让下一次变化来的时候,改动小一点、代价低一点。这可能就是这件事最实在的价值。

读者评论

陈默:看到”接口修一百遍也没用”这句,血压上来了。我们去年就是接口联调全绿,上线发现两边的组织编码对不上,返工了两个月。早看到这篇能少走不少弯路。

林晓芸:想请教一下,我们公司系统不多,就六七个,数据量也不大,是不是可以跳过主数据管理直接做数据汇聚?现在纠结要不要上平台。

周伟东:选型那张表挺实用的,我们正在做方案,准备照着改一改拿去评审。想问一下 AI 就绪度那一项,实际操作里怎么评估比较靠谱?

赵建军:做了八年数据集成,最认同的就是”有人负责”这条。技术问题都好解,就是口径分歧永远扯不完,没有拍板的人,项目就一直在开会。

孙洁:零售那个案例很有代入感,我们数据组也是四个人撑二十多个系统。想问一下自助分析推起来之后,业务那边接受度高吗?我们之前推过一轮,用的人不多。

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
QuantumDriftQuantumDrift
上一篇 1天前
下一篇 1天前