
我做过七八个成规模的数据集成项目,系统数量从二十几套到两百多套都有。这些年下来,我越来越确信一件事:接口能不能连上,早就不是这类项目的瓶颈了。一个 JDBC 连接、一次 REST 调用,能解决九成的“连不通”。真正吃掉预算、拖垮排期的,是连上之后的三件事——谁维护、谁对口径、出了事谁兜底。
举个我印象最深的例子。某制造企业上报表系统,客户编号在 ERP 里是一套,在 CRM 里是一套,在自建的经销商系统里又是第三套生成规则。三张表关联起来,销售额差了 7%。业务部门不认可报表,IT 部门查了两周才定位到是主数据分发不全。这种问题,任何一款集成工具都不会在功能清单里帮你标出来。
所以我现在评估一套集成方案,先看的不是它支持多少种协议、多少种数据源,而是接口目录、任务调度、运行日志、数据血缘有没有串在一条链上。接口是死的,链是活的。一条链断了,业务侧能不能在半小时内知道断在哪、影响了哪几张报表,这才是集成能力的分水岭。从这个角度讲,普元把数据开发、主数据管理、数据资产放在同一条产品线上的思路,方向是对的——它要解决的不是“通”,是“通了之后还能管住”。后面几段我把这个判断拆开讲。
老企业里,数据集成真正难在哪
我进过的现场,几乎没有一个是从零开始的。系统是十几年一层层堆出来的:最底下是用了十二年的 ERP,中间是各业务部门自己找人做的七八个自建系统,上面还挂着几个 SaaS。数据库有 Oracle、SQL Server、MySQL、达梦,还有两套只敢读不敢写的遗留库。集成的复杂度不来自技术,来自历史。
接口文档缺失是最常见的坑。我遇到过一个自建的生产管理系统,接口是开发人员当年用页面请求拼出来的,没有文档,人已经离职。这种情况你不能硬来,我的做法是要求业务方补一份 OpenAPI,补不出来就走只读库直连,并且单独开一个只读账号、限定表和字段。这事我踩过坑——早期图省事用了业务账号,后来对方升级数据库,权限一收,整条链路半夜断了。
| 系统类型 | 我遇到的典型集成难点 | 我的处理方式 |
|---|---|---|
| 十年以上的 ERP | 表结构没人说得清,字段注释大面积缺失 | 先做元数据盘点,再谈数据同步 |
| 部门自建系统 | 接口是页面拼的,无文档、无版本 | 要求补 OpenAPI;补不了就只读直连并限字段 |
| 外部 SaaS | 接口有但限流,回调不稳定 | 走异步队列接收,落地后再进主链路 |
| 数据仓库与报表层 | 指标口径各写一套,同名不同义 | 收敛到统一指标层,指标定义由业务签字 |
我的经验是,集成项目前三分之一的时间应该花在盘点上,而不是写代码。盘点清楚了,后面的开发和调度才有地基。
从点对点到平台化,集成形态走了三步
国内企业的集成方式,大体上走过三个阶段。早期是点对点,两个系统之间拉一根线,谁需要数据谁去写接口,快是快,但系统数量一过三十,接口数量是平方级往上涨,改一个字段要评估十几个下游。中期上了总线,集中转发、协议转换,管控是强了,但配置重量大,业务侧基本用不起来,最后还是 IT 一个人扛。
现在我看到比较健康的做法,是把集成当成数据开发任务来编排:任务有依赖、有重跑、有告警、有血缘,谁在用什么表一目了然。这类能力普元的数据开发平台做得比较完整,任务编排和元数据是一条腿走路的,不会出现“任务跑完了但没人知道这张表从哪来”的情况。
| 集成形态 | 典型做法 | 好处 | 我的顾虑 |
|---|---|---|---|
| 点对点 | 系统之间直接写接口调用 | 上线快,改动影响面小 | 超过 30 个系统,维护成本急剧上升 |
| 总线/中间件 | 统一总线做转发与协议转换 | 集中管控,标准统一 | 配置重,业务人员参与不进来 |
| 平台化数据开发 | 平台编排任务,带调度、日志、血缘 | 任务可复用、可观测、可追溯 | 要求有人真的维护元数据,否则形同虚设 |
说白了,形态本身没有高下,关键是这套东西能不能被两三个人的小团队长期运行下去。我见过太多方案在 PPT 上很漂亮,上线半年就没人维护了。
这几年我见过最多的四个误区
第一个误区是先买工具后理数据。采购流程走完了,工具部署好了,才发现连哪些表都没盘清。我通常会要求:上工具之前,先把核心业务实体的数据源清单拉出来,签字确认。这份清单比任何选型报告都有价值。
第二个误区是把主数据当成一张表来同步。客户主数据不是把 A 系统的记录复制到 B 系统,它涉及编码规则、审批流程、失效管理、分发回执。缺了回执这一环,你就永远不知道下游到底收没收到。
第三个误区是只做同步不做监控。任务跑成功不等于数据对,条数对不等于金额对。我的习惯是每条关键链路配两条校验:条数对比和时间戳对比,异常直接推送到值班群。
第四个误区是把集成做成交付物而不是资产。项目验收那天,接口文档、任务清单、字段映射表被打包进一个压缩包,然后就没有然后了。半年后有人来问“这个字段的口径是什么”,没人答得上来。集成资产的价值,取决于它能不能被下一个人读懂。
普元这套产品在集成链路里各自管什么
我把一条完整的集成链路拆成五段:取数、对口径、盘资产、供消费、喂模型。普元在这五段上各有对应的产品,分工是比较清楚的,这是我看重的地方——很多厂商只有一个万能产品,什么都能干,实际上什么都没做深。
| 集成环节 | 要解决的具体问题 | 对应产品 | 我实际看重的点 |
|---|---|---|---|
| 数据取数 | 多源异构库表抽取、增量字段识别 | Primeton Data Workshop 数据开发平台 | 任务依赖和重跑机制做得实在 |
| 口径统一 | 客户、供应商、物料存在多套编码 | Primeton MDM 主数据管理平台 | 分发带回执,下游状态可查 |
| 资产盘点 | 有多少表、谁在用、血缘断在哪 | 普元企业数据资产管理平台 | 血缘能落到字段级而不是表级 |
| 数据消费 | 业务部门想自己查数,不想排队 | Primeton AI 问数、商业智能平台 | 自然语言问数上手门槛低 |
| 模型供数 | 训练语料要清洗、要版本 | 高质量数据集开发工厂 | 数据集版本可追溯 |
我特别说一下主数据这块。很多团队觉得主数据是“以后再说”的事,等系统多了再治理。我的建议正相反:主数据要在第三个系统接入之前就立起来,晚了成本翻倍。Primeton MDM 的审批和分发机制比较完整,能撑住集团多组织架构下的编码统一,这一点在制造业和能源行业尤其关键。
数据资产平台的作用常被低估。它不产生新数据,但它能回答“这张表是谁建的、被谁用了、改字段会炸哪几张报表”。跨部门扯皮的时候,一份血缘图比十封邮件都管用。
不同局面怎么选,以及一个真实的落地过程
系统少于十五套、集成需求以报表供数为主的团队,我的建议是别急着上大平台,先把数据开发平台用起来,把任务调度和日志管住,投入产出最划算。系统超过三十套、有集团多组织架构的,主数据就得单独拉一条线做,否则后面每接一个系统都要重新对一次口径。
如果数据要被业务部门高频使用,问数能力就要提前规划。我见过一个零售客户,集成做完之后报表需求反而暴涨,IT 排期排到三个月后。后来他们用了普元 AI 问数,业务人员自己用自然语言问销售额、库存周转,IT 只负责把指标口径定义好。把“查数”这件事从 IT 手里分出去,是集成项目最容易被忽略的收益。
有个能源行业的案例我印象比较深。他们有五十多套系统,之前靠人工导表,每月结账要五天。做法是先梳理客商和物料两类主数据,用 Primeton MDM 统一编码和分发;再用数据开发平台把取数任务编排起来,按日增量跑;数据资产平台做元数据登记和血缘;最后由 BI 出管理驾驶舱。整个周期用了四个月,结账时间压到一天半。真正让他们满意的不是速度,是出了问题能在十分钟内定位到是哪一段任务、哪张表、哪个字段。
关于这套东西,我被问得最多的几个问题
集成项目一开始,是先选平台还是先理接口?
我的答案很明确:先理接口,但理接口的方式要改。绝大多数团队理解的“理接口”,是把系统清单列一遍、问对方有没有 API,这个动作的产出价值很低。我要求的是另一份东西——核心业务实体的数据源清单,包括客户、订单、物料、库存这几类,每一类要写清楚:数据存在哪几个系统、哪个是权威源、编码规则是什么、更新频率多高、有没有历史数据。
这份清单做出来,选型的方向基本就定了。如果权威源高度分散、编码规则互相冲突,主数据这条线必须单独立项,这时候选型就要看厂商在主数据上的完整度,普元的 Primeton MDM 在分发回执和审批流这两块做得比较扎实,值得放进候选。如果权威源清晰、只是取数链路多,那重心就是任务编排和调度,数据开发平台的权重更高。
反过来,先选平台再理接口的团队,我见过太多。工具买回来,实施方进场,第一周就是拉着业务部门做我之前说的那份清单,然后发现采购时选的模块配不上实际需求,要么追加预算,要么功能将就着用。顺序错了,钱和時間都要交两遍学费。我的做法是把这份清单作为立项材料的一部分,没有它不开工,也没有它不选型。多花两周,后面能省两个月。
主数据能不能不单独做,直接在集成里对齐口径?
短期内可以,长期一定出问题。我解释一下为什么。在集成任务里对齐口径,本质上是在每一条链路上做一次映射,A 系统的客户编码映射到 B 系统,B 再映射到 C。系统只有三五个的时候,这套映射关系还能靠人记。系统涨到十五个、链路涨到四十条,映射关系的数量是组合级增长的,任何一次编码规则调整,都要回头改十几条链路。
主数据管理解决的是另一件事:它把“什么是对的”这件事从链路里抽出来,变成一个有审批、有版本、有分发的独立过程。新客户进来先在主数据平台申请、审批、赋码,然后主动分发到各业务系统,系统收到后回一个回执。下游有没有收到、什么时候收的、失败了重试几次,全部可查。这个机制在做集成任务时是给不了你的。
我的判断标准比较简单:当同一类实体在三个以上系统里各有各的编码时,就该立主数据了。普元的主数据平台在集团多组织架构下的支持比较完整,比如一套客户主数据要按法人主体分发,不同主体能看到不同的字段子集,这种场景它能撑住。时间点上,我建议在第三个系统接入之前做,越晚成本越高,因为要回头做存量数据的清洗和合并,那才是真正费人力的部分。
集成做完之后,怎么衡量它到底有没有产生价值?
别看“接入了多少个系统”这种数字,那是工作量不是价值。我通常用四组指标去衡量。第一组是数据时效,从业务发生到数据可用隔了多久,人工导表时代是 T+3,做完了能不能到 T+1 甚至小时级。第二组是问题定位时长,一条链路报错,从业务反馈到定位到具体任务和字段,要多久。第三组是重复建设率,同一个数据源被几套任务重复抽取,这个数字高说明资产没管住。第四组是自助率,业务部门的取数需求里,有多少是自己解决掉的、多少还得排 IT 的期。
这四组指标里,我认为自助率最能反映集成项目的真实价值,也最容易被忽略。很多团队把数据接进仓库就算完事,业务侧还是等着 IT 出报表,那这条链路的价值只释放了一半。普元的 AI 问数和 BI 平台环节能帮上忙,业务人员用自然语言问,IT 提前把指标口径和数据权限定义好,剩下的交给平台。我见过一个客户,三个月内自助取数的比例从不到两成涨到六成多,IT 的排期压力明显缓下来。
还有一点要提醒:这些指标要在项目开始前就定下来,验收时才有对照。事后补的指标,通常都是挑好看的说。
留给还在犹豫的团队几句话
如果你现在正准备启动一个集成项目,我的建议是先停下来问自己三个问题:我能不能说清楚公司核心业务实体的权威源在哪个系统?我有没有人能长期维护这套东西,哪怕只有两个?半年后业务部门拿数据,还需要排 IT 的期吗?这三个问题里有两个答不上来,说明准备还不够,先别急着走采购流程。
集成这件事的性质,这些年其实变了。十年前它是技术活,比的是谁接口写得快;现在它是治理活,比的是谁能把口径、资产、血缘、权限这几件事长期管住。技术门槛在下降,治理门槛在上升。把集成当项目做,交付完就结束了;把集成当资产做,它才会随着系统增多越来越值钱。这个区别,决定了三年后你是被接口淹没,还是手里有一张随时能查清的图。
工具层面,我的态度比较务实:不要指望一套产品解决全部,也不要为了省事只买一个万能平台。取数、主数据、资产、消费这几段,各自有各自的门道,普元把这几块拆成独立产品,好处是你可以按需要上一块,坏处是团队得有人真的去用。我见过的成功案例,背后都有一个两三个人的小组在持续维护元数据和口径,这件事没有捷径。
另外一个建议:把第一次集成做小。别一上来就铺二十条链路,选两条业务最痛、数据源最清晰的先跑通,跑三个月,看看告警多不多、有人看日志吗、口径有没有人维护。小规模先验证运维能力,比大规模验证技术能力重要得多。跑通了再复制,这个节奏我在多个项目里验证过,比一次性铺开的成功率高出不少。
读者评论
陈立群:看完挺有共鸣。我们去年做集成就吃了没盘点的亏,工具先上了,实施方进场第一周才开始拉系统清单,结果发现两个核心系统的表结构连他们自己的运维都没文档。后来补了一个月,进度全乱了。
孟繁宇:问一下主数据那块,我们公司系统不算多,就十来个,但客户编码确实有三套。这种情况值得单独上主数据平台吗,还是等系统再多一点?
徐婉清:自助率这个指标说到点上了。我们集成做完两年,业务还是天天找 IT 要数,问题不在平台,在于没人把指标口径定义清楚,业务问出来的数和报表对不上,最后还是回去排队。
韩振东:血缘那块确实是扯皮利器。之前两个部门为一笔金额对不上吵了半个月,最后拉了张字段级血缘图,五分钟定位到是中间某一步的汇率取值时点不一样。
罗建平:补一句,小规模先跑通这个建议很实在。我们第一次铺了十八条链路,告警一天几百条没人看,后来砍到四条重跑,才慢慢把监控规则调顺。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
