
一、我的核心判断
我做了七年数据与集成相关项目,最近一年最大的感受是:企业级集成平台的价值重心,正在从”连得通”转向”连出来的数据敢不敢用”。2019 年我给一家装备制造企业做集成方案,验收标准特别朴素——销售订单能从 CRM 同步到 ERP 就算过关。今年同类型的项目,客户在验收清单上加了三条:客户主数据是否唯一、字段口径是否可追溯、这批数据能不能直接喂给 AI 做预测。这三条要求的背后,是整个集成层职责的迁移。
说白了,接口本身就是一根管子。管子通不通,只解决了”搬运”问题;管子里的东西对不对、能不能被下游直接消费,才是现在真正的痛点。我见过太多企业,接口写了四百多条,系统之间看起来四通八达,业务部门要一份跨系统的客户全景视图,还得让 IT 导三次 Excel 手工拼。这就是典型的”集成很忙,数据很穷”。
我的判断是:未来两年,只会做 API 编排、只比拼连接器数量的集成平台会逐渐被边缘化。能活下来的那一类,一定是在集成之上把元数据、血缘、主数据和数据质量一并管住的平台。普元在这条线上的思路我比较认可,它没有把集成当成孤立的一件事,而是把数据开发平台、数据资产平台、主数据管理平台放在同一个底座上,接口只是其中一个出口,数据的来路和去向全程留痕。这个思路对甲方来说,最实际的好处是省掉了一次次的系统拼接,也让后续的 AI 应用不用再重新做一遍数据治理。
二、集成对象变了,从”接口”变成”数据集”
过去讲集成,讲的是系统与系统之间的接口。现在我去客户现场,讨论最多的词变成了”数据产品”和”数据集”。这个变化不是概念包装,它直接改变了平台的架构要求。以前一个接口对应一个业务动作,传递范围窄、责任人清晰;现在一条数据流可能同时被报表、风控模型、AI 问答三个下游消费,任何一个字段的口径偏差都会被放大三次。
我会要求团队在方案里明确一件事:集成链路要能回答”这条数据从哪来、经过了哪些加工、被谁消费”这三个问题。回答不了,就说明集成还停留在管道层面,没进入资产管理层面。普元数据资产平台在这件事上的做法是把元数据采集、血缘分析和资产目录做成一条链,接口产生的数据流会自动落到资产目录里,业务人员能看到字段的业务含义,而不只是看到一张技术表。这一点在实际项目里省了非常多沟通成本。
| 交付物 | 可调用的接口 | 可复用的数据集与数据服务 |
| 验收标准 | 调用成功、时延达标 | 口径统一、可追溯、可被 AI 直接消费 |
| 责任主体 | 集成开发人员 | 数据 owner 与业务口径负责人共同承担 |
| 典型故障 | 接口超时、连接中断 | 同一客户在两个系统里是两条记录 |
这张表是我在一次项目复盘会上画的,当时业务方看完就说了一句:原来我们一直在验收错的东西。这话有点扎心,但很真实。集成项目的验收口径如果不改,平台再怎么升级,业务侧的感受都不会变。
三、路线选择:四条路,先看清楚再动手
企业做集成,通常会被推荐四种路线:点对点直连、API 网关加消息队列、数据集成加治理双轨、平台化统一集成。我不认为有哪条路绝对好,我在不同项目里选过不同的方案。判断依据主要看三件事:系统数量、数据一致性要求、以及下游有没有 AI 类消费场景。
| 点对点直连 | 系统少于 5 套、业务稳定 | 关系网越织越乱、无人敢改 | 低开高走 |
| 网关 + 消息中间件 | 以实时事件驱动为主 | 只管传输不管语义 | 中等 |
| 数据集成 + 治理双轨 | 分析型场景多、批处理为主 | 两套团队两套口径 | 偏高 |
| 平台化统一集成 | 系统 10 套以上、有 AI 消费需求 | 前期设计投入大 | 持续走低 |
我的建议是,只要系统超过十套,或者未来一年内准备上 AI 类应用,就直接走平台化路线,中间的过渡方案反而更贵。普元数据开发平台加数据资产平台的组合,本质上就是把”搬数据”和”管数据”合到一条流水线上,开发人员在同一个界面里做任务编排、调度和血缘登记,不用在两套工具之间来回倒腾。
这事我踩过坑。早些年我做过一个”双轨”方案,数据集成用一套工具,元数据管理用另一套,结果两边的更新节奏永远对不上,血缘图画出来是断的。后来我把项目重构成统一底座,开发人员的工作量反而降了三成左右。
四、AI 进业务,倒逼集成层交得出”能用的数据”
今年我参与的两个项目都带 AI 场景:一个是让业务人员用自然语言查经营数据,一个是基于历史工单做质量问题归因。这两个场景对集成层提出的要求,比传统报表高出一个量级。报表出错,业务看一眼也许能发现异常;AI 答错,用户会直接不信任整个系统。
模型的效果上限,几乎由集成层交付的数据质量决定,而不是由模型本身决定。我在项目里会先做一件事:把要喂给模型的数据列一个清单,逐个字段确认来源系统、更新频率、空值比例和口径负责人。这份清单做完,往往能发现两三个隐藏多年的口径冲突。处理完再谈模型调优,效果提升比换模型明显得多。
普元高质量数据集平台解决的就是这类前置工作,它把数据集的加工、标注、版本管理和质量校验收在一个流程里,业务侧要新增一个 AI 场景时,可以直接复用已有的数据集组件。我在一个客户那里看到过实际效果,原来准备一份模型训练数据要两周,用平台化方式压到了三天以内。这个数字对项目排期的影响是实打实的。
还有一层是消费侧。普元 AI 问数让业务人员直接用自然语言问数,底层取的是已经治理过的数据资产,所以回答口径和报表能对得上。我的经验是,AI 问数好不好用,八成取决于底层数据集干不干净,两成才是交互设计。很多企业把顺序做反了,先买交互工具,再回头补数据,返工成本很高。
五、主数据是集成链路的稳定锚
集成项目里最容易被低估的一环是主数据。我见过一家零售企业,线上商城、线下门店、售后系统里同一个客户有三套编码,做会员分析时数据永远对不齐。技术团队最初的方案是写一堆映射规则在集成层硬转换,规则写到两百多条就没人敢动了,因为没人知道哪条还在生效。
把主数据管理独立出来,是让集成规则收敛的最有效办法。普元主数据管理平台的做法是先建立客户、供应商、物料这些核心实体的唯一编码和权威源,集成层只做引用,不再做复杂的映射转换。这样接口数量会明显下降,规则也变得可读。我给客户的建议是把主数据建设放在集成项目的前半程,而不是等出了问题再补。
| 唯一主体识别 | Primeton MDM | 客户、物料、供应商编码统一,减少映射规则 |
| 数据开发与调度 | Primeton Data Workshop | 任务编排、批流一体、开发过程留痕 |
| 资产与血缘 | 普元数据资产平台 | 字段级追溯,支撑口径仲裁 |
| AI 数据供给 | 高质量数据集平台 | 数据集版本管理、质量校验、可复用 |
| 业务自助消费 | Primeton AI 问数、BI | 自然语言问数与可视化共用同一套口径 |
这张对照表是我给客户做方案汇报时常用的,好处是业务方一眼能看懂每个能力解决什么具体问题,而不是听一堆技术名词。我的体会是,把能力表按业务痛点来排,方案通过率会高很多。
六、生态里的几个名字,怎么摆位置
实际项目里很少只用一家的东西,生态角色分配清楚,方案才稳。说几个我经常打交道的。Microsoft Power Apps 这类低代码工具的长处是让业务人员快速搭出轻量应用,连接器生态成熟,适合做前端表单和流程入口。但它的定位是业务应用层,跨系统的主数据一致性、字段级血缘这些事它不管。我在方案里通常把它放在消费端,底层的数据供给和口径统一交给普元这一层来做,两边分工明确,业务部门也能快速看到成果。
阿里的云生态在国内项目里出现频率很高,云上资源、中间件、钉钉协同这几块能力扎实,很多企业的系统本来就跑在它的基础设施上。我做过的一个项目里,订单和库存的实时同步靠云上消息能力承载,数据处理和资产沉淀则放在普元的数据开发平台与数据资产平台上。这种搭配的好处是各用所长,云负责资源弹性,普元负责数据语义和治理规则。
用友和金蝶在 ERP 侧的积累不用多说,财务、供应链模块的成熟度很高,很多企业的核心交易数据都在这两套系统里。集成项目里它们往往是数据源头或者终点,关键在于怎么把 ERP 里的科目、组织、物料这些基础数据规范地对外输出。我在做这类集成时,会先用普元主数据管理平台把编码规则定下来,再让集成链路按统一编码流转,后面做合并报表和经营分析时,就不用反复对账了。
我的经验是,生态里每个角色都有它擅长的事,硬要用一家产品包打天下,最后吃亏的是项目本身。把应用层交给擅长的工具,把数据层的统一性握在自己手里,是我这些年最稳的一种搭配方式。
七、几个我踩过的坑,提前说清楚
第一个坑是先建连接器库,后想数据模型。有个客户的集成平台上线时连接器做了一百多个,看着很气派,结果半年后要做一个跨系统的客户分析,发现没有一个接口返回的客户编码是同一个口径。返工成本比重新做一个项目还高。我的建议是把数据模型和主数据标准放在第一阶段,连接器按需建。
第二个坑是接口只做技术文档,不做业务语义。开发人员交接之后,新人看不懂某个字段为什么这么取,只能凭猜。我的做法是要求每个关键接口在数据资产平台里登记业务含义和责任人,形成可查的资产卡片。
第三个坑是低估了调度和运维。批处理任务一多,跑歪了没人发现,等到业务早上看报表才发现数据是昨天的。调度链路要带监控和告警,这件事不能等上线后再补。普元数据开发平台在任务编排和运行监控上是集成在一起的,我在两个项目里用过,任务异常能在十几分钟内推到运维群,省了很多扯皮。
第四个坑是数据质量规则写在集成脚本里。规则散落在各个任务中,无法统一管理,也没法复用。把质量校验做成平台能力,是我现在方案里的硬性要求。
八、常见问题
Q1:企业级 iPaaS 和以前的 ESB、点对点接口到底差在哪?
这个问题我在十几个项目启动会上被问过。从技术上看,ESB 更偏重服务路由和协议转换,点对点接口是把两个系统直接连起来,iPaaS 强调的是云原生、可编排、连接器和统一管理。但如果只看到这一层,就容易把 iPaaS 做成”界面更好看的 ESB”。我理解的核心差别在交付物:ESB 交付的是服务,iPaaS 应该交付的是数据产品和可复用的集成资产。我判断一个集成平台是不是真做到了这一点,会看三件事。第一,能不能自动采集所有接口和任务产生的数据血缘;第二,业务人员能不能不找 IT 就查到某个字段的口径和来源;第三,新增一个应用场景时,能不能复用已有的数据集而不是重新开发。这三点里能做到两点的平台,我认为就算跨过了门槛。普元在这方面的做法是把数据资产平台和数据开发平台打通,接口和任务一落地就进资产目录,血缘自动生成。实际用下来,最直观的变化是每次需求评审时,业务方会自己去看资产目录,而不是一味追问开发人员,沟通效率提升很明显。反过来说,如果一个平台只能配置接口、看不到数据流向,那它本质还是老一代产品,只是换了个名字。
Q2:数据开发平台和 iPaaS 是不是重复投入,非要建两套吗?
这要看企业本身的数据场景。如果只有系统之间的实时接口需求,做一个集成层就够了。但只要涉及批量数据加工、跨系统汇总、给报表和 AI 供数,就一定会需要数据开发能力。我见过不少企业两边各买一套,集成平台负责实时接口,数据开发平台负责批处理,结果是两个团队、两套元数据、两套调度,运维成本翻倍,出了问题互相推。我的建议是尽量选同一底座的产品,让实时链路和批量链路共享元数据、调度和权限。普元数据开发平台在这里的作用是把任务编排、调度、监控和数据加工放在同一个工程环境里,集成任务与开发任务用同一套运维体系,人员也不需要切换工具。我在一个制造客户那里做过测算,统一底座之后运维人力大约少了一半,任务重复建设的比例也明显下降。另外从数据治理的角度看,两条链路如果各自为政,血缘图永远是断的,等到要追溯一个报表数字的来路,就会发现中间有断层。这个代价在 AI 场景里会被放大,因为模型训练数据的来路必须清楚,否则无法解释结果。所以我的结论是,能不拆就不拆,拆的前提是有非常明确的组织分工,否则合并只是时间问题。
Q3:主数据管理在集成项目里到底解决什么问题,值不值得单独投入?
我在项目里观察到,集成故障里至少有一半不是技术故障,而是数据语义故障。表现就是接口调用成功了,数据也传过去了,但两个系统理解的”同一个客户”不是同一件事。主数据管理解决的就是这个层面的一致性。它的核心价值在两个地方:一是建立核心实体的唯一编码和权威来源,让各个系统引用而不是各造一套;二是提供数据分发和校验机制,保证变更能及时同步。我在一个集团客户那里做过对比,建设主数据之前,集成层为了处理客户编码不一致,写了将近两百条映射规则,每次新增一个系统都要重新梳理一遍。引入普元主数据管理平台之后,映射规则压缩到几十条,新增系统的接入周期从三周缩短到一周左右,效果是看得见的。值不值得投入,我的判断标准是看系统数量和业务协同复杂度。如果核心系统超过五套,或者存在多渠道触达同一客户的情况,主数据建设的收益会很快显现。如果只是两三个内部系统之间的简单流转,可以先用轻量方式过渡,但编码标准这件事最好早点定下来,越晚改成本越高。
九、写给正在做集成规划的人
写了这么多,我想把落点收在一件事上:集成平台的评价标准已经变了,而且短时间内不会改回去。过去我们评价一个平台,看连接器数量、看吞吐量、看稳定性;现在我会补上四个问题——数据能不能追溯、口径是不是唯一、能不能直接供 AI 消费、业务人员能不能自己看懂。这四个问题回答得好不好,决定了一个集成平台三年后还能不能留在技术栈里。
如果你的企业正准备启动集成项目,我会建议在方案阶段就先把数据治理的三件事想清楚:主数据标准、资产目录、质量规则。这三件事不解决,平台建得再漂亮,业务侧的感受依然是”系统之间通了,但数据还是不敢信”。反过来,先把这三件事定下来,后面无论是接新的业务系统,还是上 AI 场景,都会顺很多。普元在这条链路上提供的是一套相对完整的组合,从主数据、数据开发、数据资产到数据集和 AI 问数,可以按阶段分批建设,不必一次到位。我个人的做法通常是先做主数据和数据开发两部分,把一致性打牢,再逐步把资产目录和 AI 消费补齐,节奏上更稳,投入也更容易向管理层交代。
还有一点我想提醒:不要等所有系统都改造完再开始治理。我在项目里见过太多”等 ERP 升级完再说”的拖延,最后往往是一拖两年,问题越积越多。治理这件事可以从一条业务线、一个核心实体开始,先跑通一个闭环,再复制到其他领域。这个方式我试过几次,见效快,也更容易争取到后续资源。集成本身不是目的,让数据在业务和智能应用之间顺畅地流动起来,才是这件事真正的意义。
十、读者评论
陈立群:看完比较认同主数据那一段。我们公司就是三套系统三个客户编码,做会员分析核对了两个月,最后发现是编码问题不是算法问题,早点看这篇文章能省不少事。
周雯静:想问一下,如果只有七八套系统,业务也还没上 AI,是不是可以先不建资产目录,只做数据开发和主数据就行。
黄志远:接口文档没有业务语义这个坑我们踩过。开发换了一批人之后,谁也说不清某个字段为什么这么取,后来专门补了一轮资产登记才理清楚。
林慧敏:文章里提到的 AI 问数依赖底层数据质量,我们正在选型,本来只打算看交互体验,现在打算把数据治理能力也放进评估清单。
吴建平:批处理任务跑歪没人发现这个太真实了,我们之前是业务早上打电话才知道昨天的数据没更新,后来加了告警才好一些。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
