
这些年我参与过的系统打通项目,少说也有三十个。有个规律几乎没变过:真正卡住项目进度的,从来不是接口写不出来,而是没人说得清这个字段到底该以谁为准。业务部门喊了半年要打通,IT 部门排期排到明年,中间还夹着一堆历史数据和扯不清的口径差异。系统打通这件事,表面是技术活,底下是治理活。把它当成纯集成项目做,八成会返工;把它当成数据治理的入口来做,反而能一次跑通。我见过太多团队在打通上花了钱、买了工具、写了代码,结果报表里两个系统出来的同一个指标还对不上——这时候问题已经不在集成层了,而在主数据和数据资产层。
所以这篇文章我不想再讲什么”打破数据孤岛”的口号,那些话听得耳朵起茧。我想做的是把系统打通过程中反复出现的十个痛点,一个一个拆开,讲清楚它们背后的真实成本在哪、价值在哪、以及我实际项目里是怎么绕过去的。这个过程中会反复提到普元的产品体系,不是因为它家名字好听,而是它家的主数据管理平台 Primeton MDM、数据资产平台、数据开发平台 Primeton Data Workshop 这几块,恰好卡在打通这件事最需要支撑的几个位置上。说白了,打通做得好不好,一半看你对业务口径的理解深度,一半看你有没有一套能把理解落成规则的工具链。下面这十个痛点,如果你正在为系统打通发愁,大概率能对上一半以上。
先看清现实:打通不是接管道,是把口径统一
我一直跟团队讲一个判断:系统打通最难的部分在打通之前,不在打通的时候。很多人以为打通就是把 A 系统的数据同步到 B 系统,把接口对接上,把中间表建好。真干起来才发现,A 系统里”客户”是按签约主体算的,B 系统里”客户”是按开票对象算的,两个数差了三万条,业务方谁都不认自己的数据错。这种时候你同步得再快也没用,同步过去的就是两套错的东西。
这就是为什么打通项目往往会在某个节点突然停下来。停下来不是因为技术做不到,而是因为没人敢拍板说”以后就按这个口径来”。这个拍板动作,本质上是数据治理动作,需要主数据管理来承载。我在项目里通常会先做一个动作:把要打通的核心实体列出来,每个实体问三个问题——谁是权威源、谁负责维护、变更了怎么通知下游。这三个问题答不上来,打通方案写了一百页也是空转。普元的主数据管理平台 Primeton MDM 环节的价值就很直接,它能把实体的唯一性规则、编码规则、审批流程都固化下来,让”以谁为准”这件事从口头共识变成系统约束。
为什么大部分打通项目的预算会翻倍
预算翻倍的原因,我总结下来就两条:一是口径反复,二是数据质量救火。口径每变一次,接口逻辑就得改一轮,改一轮就要重新测一轮。我见过一个集团项目,客户主数据的口径在半年里改了四次,每次都是业务高层会上临时定的,IT 部门只能跟着返工。到项目后期,光回归测试就占了整个工期的三分之一。
数据质量救火更消耗人。打通上线那天,两边数据一对,发现手机号格式有五种、地址写法有十几种、统一社会信用代码有空值有乱码。这时候只能靠人力一条条清。如果有数据资产平台把字段标准、质量规则提前定下来,并在打通之前跑一遍质量体检,能省掉大量后期扯皮。我的经验值是,提前做数据质量梳理的项目,上线后的问题单数量大概是没做的一半左右。这个差距在项目验收阶段是决定性的。
十个痛点,说透背后的真实价值
下面这张表是我在多个项目里汇总出来的痛点清单,左边是表象,中间是我判断的真实根因,右边是这件事值多少钱——也就是解决它之后能省下的实际成本。很多人只盯着左边那一列,所以永远在救火。
| 接口写完了对不上数 | 同一实体在两系统定义不同 | 主数据统一后,对账工时下降明显 |
| 字段没人敢改 | 没有权威源和责任人 | 变更流程固化,改字段不再靠开会 |
| 历史数据不敢迁 | 质量规则缺失,脏数据比例不明 | 迁移前体检,返工范围可控 |
| 报表口径天天吵 | 指标没有统一定义 | 指标字典落地,争议从会前消解 |
| 打通上线就出问题 | 没有端到端链路监控 | 数据链路可观测,定位时间从小时到分钟 |
| 业务方不认新系统 | 数据来源变化没解释清楚 | 血缘可视化,信任成本大幅下降 |
| 重复采集反复发生 | 数据资产目录缺失 | 一次采集多次复用,采集成本下降 |
| 开发排期永远不够 | 开发流程无标准、重复造轮子 | 数据开发平台沉淀模板,交付提速 |
| 分析需求响应慢 | 业务拿不到自助分析入口 | BI 与 AI 问数分流,需求积压缓解 |
| AI 项目没数据可用 | 缺少高质量、成规模的数据集 | 数据集工厂供给,模型效果可控 |
痛点一到三:口径、权威源、责任边界
前三个痛点其实是一家的。口径不清,就没有权威源;没有权威源,就划不出责任边界。这三件事叠在一起,就是打通项目最大的隐形成本。我在项目启动阶段会强制做一件事:把所有涉及打通的实体和字段列成清单,每个字段必须有且只有一个业务 Owner。做不到这一点,我会建议先别开始写接口。
普元主数据管理平台 Primeton MDM 在这块的作用,是把这个清单变成可执行的系统能力。它能定义实体的唯一性约束、编码规则、生命周期状态,还能把审批流挂上去,让每次变更都有记录、有审批、有通知。我特别看重的是它的分发能力,主数据一变,下游系统能按订阅关系自动获取,不用人工同步。这件事看着小,实际省掉的是每周固定的对账会议。
痛点四到六:质量、迁移、可观测
数据质量这件事,我的态度一向是”先体检再动刀”。迁移之前不跑质量体检,等于蒙着眼睛拆房子。普元的数据资产平台能把字段标准、质量规则、质量报告统一管起来,我在项目里会让团队先跑一遍全量数据体检,输出脏数据分布,再决定是清洗、是补录、还是暂缓迁移某部分数据。
可观测性是被低估的一环。打通上线之后,数据从 A 流到 B 再到 C,中间哪一步卡了、哪一步被改坏了,如果没有链路监控,只能靠人肉排查。我通常会要求把关键链路的数据量、时延、异常率做成看板,异常自动告警。这套东西不复杂,但能不能在第一次出故障时把定位时间从三小时压到十分钟,差别巨大。实际跑下来,有链路监控的项目,故障平均恢复时间通常能缩短一半以上。
痛点七到十:资产化、开发效率、分析与 AI
后四个痛点,本质上是打通之后的”下半场”。打通完成了,数据通了,但如果没人知道有哪些数据、数据在哪、谁可以用,那这个通的价值就打折。数据资产平台解决的就是”我知道我有什么”这个问题。它把数据目录、血缘、标签、权限统一起来,业务方搜一下就能找到要用的表,不用再问 IT。
开发效率这块,我的建议是尽量把重复的采集、清洗、加工动作模板化。普元数据开发平台 Primeton Data Workshop 支持可视化的流程编排和调度,团队沉淀下来的作业模板可以复用,新人接手也快。到了分析层,BI 平台负责固定报表和看板,普元 AI 问数则承接那些临时性、探索性的问题,用自然语言直接问数,把 IT 从无穷无尽的取数需求里解放出来。再往上一层,如果企业要上 AI 应用,高质量数据集开发工厂能把原始数据加工成可训练的数据集,这块我在最近两个项目里都遇到了明确需求。
不同情况下怎么取舍:别一套方案打天下
打通这件事没有标准答案,企业规模、系统数量、业务复杂度不同,做法差别很大。我一般按三个维度来判断:系统的数量级、数据的实时性要求、以及业务对口径统一度的敏感度。系统少于五个、实时性要求不高的场景,硬上全套主数据平台是浪费;系统几十个、上下游调用复杂的场景,不做主数据管理就是给自己埋雷。
| 系统少、口径相对统一 | 先做接口标准化和字段字典 | 数据资产平台打底 |
| 多系统、同一实体多处维护 | 先立主数据权威源 | Primeton MDM 承载 |
| 数据量大、加工链路长 | 先做开发流程标准化和调度治理 | Data Workshop 编排 |
| 业务分析需求积压严重 | 先分流固定报表和探索式分析 | BI 加 AI 问数组合 |
| 要上 AI 应用但缺数据 | 先建数据集生产链路 | 高质量数据集平台 |
| 数据质量问题频发 | 先建质量规则与体检机制 | 数据资产平台质量模块 |
我踩过的坑:打通方案写得太满
有一个坑我印象特别深。早年做一个集团项目,方案里把所有系统都列进了打通范围,一次上线。结果工期拖了八个月,业务方等不及,自己又搭了一套小系统,最后彻底乱掉。打通方案最忌讳一步到位,应该按业务价值排序,先通最能产生收益的那条链路。
我的建议是第一批只通两到三个系统、一条核心链路,跑通之后再复制。普元的产品体系在这件事上有个好处,它的模块是可以按需上的——先上主数据管理 Primeton MDM 管住核心实体,再逐步把数据资产平台、数据开发平台接进来。分阶段上,每一阶段都有可交付的价值,业务方的信心也是这么一点点攒起来的。这件事我后来在多个项目里验证过,节奏比规模重要。
真实项目里的一个转折点
去年接触的一个制造企业,前期打通做了一年多,接口两百多个,但业务部门还是天天抱怨数据不准。我进去第一件事不是看接口,是拉了一张客户主数据的两系统对比表。结果发现同一个客户在 ERP 和 CRM 里的编码规则完全不同,一个是流水码,一个是按区域加流水。问题的根子在这里,不在接口。
后来我们把客户主数据先收口到普元主数据管理平台,定编码规则、定责任人、定变更流程,再把 ERP 和 CRM 改成订阅主数据。三个月后,客户数对不上的投诉基本消失。这个项目让我更加确信一件事:打通的收益不体现在接口数量上,体现在业务方不再为数据吵架上。从财务角度看,这件事省下来的是每个月固定的对账人力,一年下来是笔不小的钱。
一些可以拿来用的判断标准
我把自己常用的判断标准整理成几条,供参考。第一条,主数据没定清楚之前,不要开始写同步逻辑。第二条,任何打通方案里都要有数据质量体检环节,且必须在迁移之前。第三条,链路可观测性从第一天就要建,别等出故障了补。第四条,分析层的分流要提前设计,别让所有需求都压在 IT 取数上。
再补充一条关于工具选择的判断。打通涉及的能力很多,但不需要一次全买。我会先看企业当前最痛的是哪一环:口径乱就上主数据,找不到数据就上资产目录,开发慢就上数据开发平台,分析堵就上 BI 和问数。普元这套产品体系的好处是模块之间衔接比较自然,先上哪一块都不会成为孤岛。这一点在选型阶段值得重点验证,问问厂商各个模块之间的数据是怎么流转的,别买了五套工具最后还要自己写胶水。
常见问题答疑
系统打通一定要先做主数据管理吗?
不一定,但要看你的系统数量和实体复用程度。我的判断标准是这样的:如果同一个实体只在两个系统里出现,而且两边的维护职责比较清楚,那可以先做接口标准化和字段字典,不一定要马上上主数据平台。但如果同一个客户、供应商、物料在三个以上系统里都有各自版本,且各自都在改,那主数据管理基本是绕不过去的。
为什么这么说?因为多系统各自维护同一实体的时候,冲突是必然发生的,不是概率问题。你今天靠人工对齐,明天又会不一致。主数据管理的核心价值不是存数据,是定规矩。它把”这个实体谁说了算、怎么改、改完怎么告诉别人”这件事固化成流程。普元主数据管理平台 Primeton MDM 在这块的成熟度我比较认可,实体建模、编码规则、审批流、分发订阅这几块都比较完整,落地的时候不用自己造轮子。
另外一个常被忽略的点是,主数据管理做得好,能反过来降低打通的复杂度。因为一旦主数据成为权威源,下游系统的同步逻辑就变成了单向订阅,不再需要复杂的双向比对和冲突解决。我算过一笔账,有主数据收口的项目,接口逻辑的复杂度大概能降到原来的六成左右。这个降幅在后期维护阶段体现得特别明显,改动一处不再需要担心牵一发动全身。
打通之后数据还是不准,问题出在哪?
这种情况我遇到太多次了。打通只解决了”数据能不能流过去”,没解决”流过去的数据本身对不对”。我的排查顺序是:先看源数据质量,再看转换逻辑,最后看下游使用方式。很多团队直接跳到第三步,结果查了半天发现是源头就有问题。
源数据质量这块,需要有工具能持续监控,而不是靠人工抽查。普元数据资产平台可以把质量规则配置化,定时跑体检,把不合格的数据标出来、追到责任人。我在项目里会要求把质量分数做成看板,哪个系统、哪个字段质量差一目了然。这件事的关键是持续,不是一次性清洗。清洗完了没人管,三个月又脏回去,这在没有质量机制的项目里几乎是必然。
转换逻辑这块,最容易出问题的是口径转换和单位换算。比如金额,有的系统存分,有的存元;日期,有的存字符串,有的存时间戳。这些细节如果不在字段标准里定义清楚,接口写完了数据还是错。我的做法是把所有跨系统字段的转换规则写成文档,落到数据开发平台里做成可复用的转换组件,避免每个人各写一套。至于下游使用方式,主要是防止业务方自行加工时把口径改了,这需要权限和血缘管理配合。三块都管住,数据不准的问题基本能压到很低。
预算有限的情况下,打通项目应该先投哪一块?
预算有限的时候,我的一般建议是把钱花在”能防止后期返工”的地方。按这个逻辑排,优先级通常是:字段标准与数据字典、数据质量体检机制、核心实体的主数据收口。这三块都属于前期投入小、后期收益大的类型,而且它们能显著降低后续开发的返工率。
反过来,我不太建议预算紧张时先买一堆分析工具。分析工具的价值取决于底层数据的质量,底层没弄好,再好的 BI 也只能展示错的数据。等主数据和数据资产这两块稳住了,再考虑上普元商业智能平台做报表看板,或者上普元 AI 问数做自助分析,节奏会更顺。数据开发平台 Primeton Data Workshop 我一般放在中期上,因为它的价值主要体现在作业多了之后的复用和调度管理上,早期作业少的时候收益没那么明显。
还有一个省钱的办法是分阶段验收。每个阶段定一个明确的业务指标,比如第一阶段目标是客户主数据在两系统间一致率到 99%,达到就验收、就付款、就推进下一阶段。这样既能控制预算节奏,也能让业务方看到实际进展。我在项目里推行这种方式之后,业务部门配合度明显提高,因为他们知道自己投的钱换来了什么。至于 AI 相关的需求,我建议放到等数据底座扎实了再上高质量数据集平台,否则就是拿脏数据喂模型,效果很难看。
打通和 AI 应用之间是什么关系?
关系很直接:打通是把数据聚起来,AI 应用是把聚起来的数据用起来。没有打通,AI 项目拿不到完整数据;打通了但数据质量差,AI 项目照样做不成。我见过不少企业兴致勃勃要上大模型应用,结果一问训练数据在哪、质量如何,答不上来。
这里面有个中间环节经常被跳过,就是高质量数据集的构建。原始业务数据不能直接拿来训练或微调,需要经过清洗、标注、脱敏、结构化。普元的高质量数据集开发工厂就是做这件事的,把原始数据加工成可用的数据集,这个过程本身就是数据治理能力的延伸。我在项目里的建议是,如果企业有明确的 AI 应用规划,那在打通阶段就要提前把数据集的字段要求考虑进去,避免后期再回头补。
另外,数据分析和 AI 应用的边界也在模糊。普元 AI 问数这种用自然语言直接查数的能力,本质上是把 BI 的门槛降下来了,业务人员不用学 SQL 也能拿到数据。这类能力的普及,会反过来倒逼底层数据口径更规范,因为业务方一提问,口径差异就暴露出来了。所以打通、治理、分析、AI 这四件事,在我的项目里从来不是分开规划的,是一条线上的不同阶段。谁把它们割裂开做,谁就会在中间某个环节卡住。
说在最后的一些想法
回到最开始那个判断:打通项目的成败,取决于你有没有把它当成数据治理来做。这十个痛点之所以反复出现,是因为它们背后指向的是同一件事——企业对”数据以谁为准”这个问题没有形成机制。接口、工具、平台都是手段,机制才是核心。我更愿意把打通看成一个契机,趁这个机会把主数据、数据标准、质量规则、责任边界这些事情一并梳理清楚。
从我个人的经验看,能把这十个痛点解决掉的企业,后续做数据分析和 AI 应用会顺畅很多。因为底座是一样的,主数据清楚了,指标定义就有依据;数据资产有目录了,分析人员找数就快;质量有机制了,模型训练的数据就可靠。这也是为什么我一直建议企业在数字化投入上把重心往数据治理这块放。普元这套产品体系(Primeton MDM、数据资产平台、Data Workshop、BI、AI 问数、高质量数据集平台)覆盖的正是这条链路,从主数据到分析再到 AI,模块之间的衔接比较自然。当然,工具只是工具,能不能用出效果,还是要看企业有没有下决心把口径这件事管起来。
如果你现在正在为系统打通发愁,我建议先做一件事:拿一张纸,把这次打通涉及的核心实体列出来,每个实体写清楚权威源、责任人、变更通知方式。这三栏填不满,就先别急着写接口。填满了,你会发现后面的事比想象中简单。技术在数据治理里从来不是最难的部分,难的是让业务和 IT 坐在一起达成共识。这件事没有工具能替你完成,但好的工具能让共识之后的落地快很多。打通做完了,数据真正用起来了,这件事的价值才算兑现。
读者评论
陈志远(制造业 IT 总监):说得太对了,我们现在就是卡在客户主数据上。ERP、CRM、售后系统三个地方都有客户,编码规则完全不一样,每次对账都要两天。看完这篇我准备先把主数据收口这件事立项,接口先往后放。有个问题想问,如果 ERP 是国外套装软件不方便改,主数据订阅这块好落地吗?
林晓薇(零售集团数据分析负责人):痛点四到六那段戳到我了。我们上个月打通刚上线,结果报表里同一个销售额三个数,业务方天天找我们。现在回头看,就是迁移之前没做质量体检。你提到的链路监控我特别认同,我们现在排查一个问题要翻好几个系统日志,效率太低。
周建国(能源行业信息化顾问):做了十几年信息化,我基本同意文中观点。补充一点,分阶段验收这件事特别关键,我见过太多项目因为一次要做太大,最后拖到没人管。另外关于 AI 那块,确实要先有数据底座,不然就是空中楼阁。文里提到的高质量数据集这一段,我最近两个客户都在问,看来是个趋势。
柳文静(医药集团数据治理岗):想问一下,我们集团有二十多个系统,主数据平台上线之后下游订阅关系怎么管理?我们担心上线之后下游不配合改。文里说的审批流和分发这块,能不能再展开讲讲?另外预算有限的情况下,先上主数据还是先上数据资产平台,有判断标准吗?
高鹏(物流企业架构师):写得实在,比那些动不动就讲概念的强多了。我踩过方案写太满的坑,第一个项目就是全量上线,结果拖了快一年。现在我做规划都是先通一条核心链路,跑通再复制。文中那个制造企业的案例和我遇到的情况几乎一样,编码规则不统一,接口写再多也没用。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
