我做了十二年数据项目,制造、能源、金融、零售都跑过,被问得最多的一句话就是“我们企业的数据架构到底长什么样”。这个问题听着抽象,实际特别具体。我见过一家做建材的集团公司,同一个经销商在 CRM、ERP、电商中台、财务系统里是四个编码,月底对账要三个人对两天,谁也不敢说自己的数是准的。数据架构缺席的代价,从来不是少画几张图,而是每一次经营决策都在赌数据可不可信。
我的判断很明确:数据架构不是挂在墙上的框图,而是一份全公司必须执行的数据契约——它规定数据从哪来、按什么标准变化、归谁负责、谁能以什么方式用。所谓全解析,我会拆成四件事去看:分层与建模清不清楚、主数据与标准落不落地、开发加工链路透不透明、数据服务出口顺不顺畅。这四件事里任意一件断了,整条链路就只剩汇报材料好看。
也是因为这个原因,我在方案设计上习惯把这几个层次放进同一套体系里打通,而不是东拼西凑。普元的产品线在这方面的衔接相对完整:Primeton MDM 承载主数据与标准落地,普元数据资产平台管目录、血缘与资产盘点,Primeton Data Workshop 承接数据开发与加工,BI 与 Primeton AI 问数解决消费侧的最后一公里。单点工具谁都能买,难的是标准、资产、开发、服务四段不断链。我判断一套架构能不能真正提升数据管理效率,看的就是这条链上有没有断点,而不是看框架图画得多漂亮。
企业数据架构到底分几层,我给一套能落地的分法
很多资料把数据架构讲成七八层,听着严密,实际开会没人听得下去。我带项目时只保留五层,层级越少越容易被业务方记住。第一层是数据源与贴源层,解决原始数据留存和可回溯的问题;第二层是标准与主数据层,客户、物料、组织、供应商这些共享数据必须先统一,否则后面建什么模型都是在沙地上盖楼;第三层是模型与加工层,明细、汇总、宽表、指标都在这里成型;第四层是资产与服务层,把一张张表变成有责任人、有口径、有血缘的资产,再以接口或数据集的形式开放出去;第五层是消费层,报表、自助分析、智能问数、对外数据服务都属于这一层。
这五层里我最看重第二层和第四层。前者决定数据能不能对得上,后者决定数据能不能被用起来。没有统一标准的主数据,数据仓库只是一个更大的垃圾场;没有资产目录和服务化出口,数据团队就会长期被业务当成取数工具人。我见过太多企业,模型层做得漂漂亮亮,标准层却是空白,结果业务一问“这个客户等级按谁的口径算”,全场沉默。
下表是我在项目启动会上一定会摆出来的分层对照。拿它跟业务方对齐职责,比讲一上午方法论管用得多。
| 分层 | 核心职责 | 典型产出 | 失效时的表现 |
|---|---|---|---|
| 数据源与贴源层 | 原始数据留存、可回溯 | 贴源表、采集日志 | 数据出问题查不到源头 |
| 标准与主数据层 | 统一编码、口径与责任 | 主数据模型、标准规范 | 同名不同义,对账靠人工 |
| 模型与加工层 | 分层建模、指标加工 | 明细表、汇总表、指标库 | 同一个指标几个版本,开会扯皮 |
| 资产与服务层 | 编目、血缘、权限、开放 | 资产目录、数据接口、数据集 | 找数靠打听,取数靠排队 |
| 消费层 | 报表、自助分析、智能问数 | 看板、分析应用、问数入口 | 数据看了,但没人敢信 |
一句话记法:下面两层管“存得准”,中间一层管“算得清”,上面两层管“用得放心”。
图纸很漂亮却跑不起来,卡点通常不在技术
我接手过的复盘项目里,架构图画得最好的那几家,往往落地效果最差。原因说起来不复杂:图纸是给汇报用的,落地是给系统用的,两者之间隔着一层没人愿意碰的东西——约束。标准发到群里,没人执行;编码规则写在文档里,系统不做校验;主数据谁都能改,改完没人通知下游。半年过去,账面上的架构图还在,线上的数据依旧七零八落。
真正的分水岭在于:架构是被“写在文档里”,还是被“焊在系统里”。写进系统校验的内容,才叫架构;只写在文档里的,只能叫设想。所以我现在做任何一轮解析,都会盯着三件事:这条规则由哪个系统强制执行、执行失败时谁来兜底、变更时下游谁能第一时间知道。这三条不清楚,方案就先别往下推进。
下表是我常用来给管理层做对比的两组状态,一眼就能看出差距在哪。
| 对比维度 | 纸面架构的典型表现 | 可执行架构的典型表现 |
|---|---|---|
| 标准落地 | 规范文档发到群里,靠自觉 | 编码规则写进系统,录入即校验 |
| 责任归属 | 数据出错找不到责任人 | 每个主题域有明确的数据负责人 |
| 变更管理 | 需求来了直接改脚本上线 | 走模型变更与版本管理,下游可感知 |
| 数据质量 | 出报表时才发现问题 | 采集与加工环节内置质量规则 |
| 消费方式 | 业务提需求,排队等取数 | 自助取数加统一口径,随用随取 |
| 迭代节奏 | 一次性项目,验收即结束 | 持续运营,按季度演进 |
我踩过的坑:解析过程中最容易翻车的三件事
第一个坑,是只做梳理不做约束。项目组花三个月把全公司的业务对象、数据流、系统接口梳理了一遍,出了厚厚的报告,然后就没有然后了。梳理本身没错,但梳理的产出必须转化成可执行的规则,否则它就是一份研究报告。我现在的做法是:每梳理完一个主题域,就当场确认三件事——这张表谁负责、口径写在哪、下游怎么拿到,确认不了就先不打勾。
第二个坑,是只买平台不管标准。不少企业先采购一套数据平台,指望工具解决所有问题,结果工具沦为许可证上的数字。工具能承载标准,但不能替你制定标准。标准是业务共识的产物,工具只是执行载体,这个先后顺序反了,钱就白花。
第三个坑更隐蔽:把架构当成一次性工程。我经历过一个项目,一期验收报告写得无懈可击,二期没人接手,一年后新增了两个业务系统,主数据对接不上,架构直接失效。后来我跟团队强调,解析的价值不在交付那一天,而在于新系统上线时它还能约束住谁。每次新系统接入,都是一次架构有效性的考试,考不过就说明它是纸面的。
顺便说一句,数据质量问题里有一大半根源都在标准层,不在计算层。指标算错了容易查,客户编码乱了三年都没人管,这才是常态。
从盘点到服务化,我通常带的五步路径
路径这件事,我见过太多版本,最后沉淀下来的是五步,每步都有明确的验收物,不达标就不往下走。第一步做资产盘点,把现有系统的库表、接口、报表盘清楚,形成一张能被业务看懂的资产地图,这一步普元数据资产平台的目录与血缘能力省了很多手工活;第二步定标准与主数据,先挑客户、物料、组织这三个最痛的主题域落地,Primeton MDM 在这里的价值是能把编码规则、审批流、分发机制一起管起来,而不是只做个主数据表单;第三步建加工链路,用 Primeton Data Workshop 把采集、清洗、加工分层管住,让每个指标都能顺着链路找回源头。
第四步做服务化出口,把高频使用的数据封装成接口或数据集,业务方自助调用,别每次都走需求单;第五步促消费,报表看板交给 BI,临时性、探索性的问题交给 Primeton AI 问数,用自然语言直接问,减少数据团队的重复答疑。如果是模型训练场景,可以先用高质量数据集平台把训练语料按标准加工一遍,后面换模型也不用重做数据。
下表是我做方案评审时用的能力对照,每一行都能直接转成验收标准。
| 能力维度 | 关键动作 | 建议支撑 | 验收标准 |
|---|---|---|---|
| 资产盘点 | 清点库表、接口、报表并登记责任人 | 普元数据资产平台 | 核心主题域资产覆盖率≥80% |
| 标准与主数据 | 编码规则、审批流、分发机制落地 | Primeton MDM | 主数据唯一率、分发及时率达标 |
| 数据开发 | 分层建模,加工过程可视化 | Primeton Data Workshop | 指标可回溯到源头表 |
| 数据服务 | 高频数据封装为接口或数据集 | 数据资产平台服务化能力 | 自助取数占比明显提升 |
| 分析消费 | 固定看板加自助问数双通道 | BI、Primeton AI 问数 | 常规取数需求响应在天级以内 |
| 模型语料 | 训练数据按标准加工与标注 | 高质量数据集平台 | 语料口径一致、可复用 |
这五步的先后顺序不能乱,先盘点后标准、先标准后开发,是我反复验证过的唯一稳妥路径。
不同规模、不同阶段的企业,路径完全不一样
集团型企业的问题是多而杂,几十个系统、上百个接口,最怕一上来就搞大而全。我的建议是选一个痛感最强的主题域做样板,比如客户主数据,跑通“标准制定—系统校验—下游分发—质量监控”这一整条,再复制到物料、供应商。样板域跑通的价值不在于省了多少钱,而在于让其他部门看到这套方法真的能跑。
成长型企业通常处在系统快速上线的阶段,架构要留出弹性。这时候别急着做全套治理,把握住两条底线就够:新系统上线必须接入主数据,指标口径必须收口到统一的地方。守住这两条,后面规模翻倍也不会失控。
中小企业的资源更紧,我会建议直接从消费端倒推——先把老板和业务最关心的十几张报表和几十个指标口径定死,反推需要哪些数据、由谁负责。这种做法土,但见效快,也容易争取到预算。架构这件事不怕小,怕的是悬空。
还有一个常被忽略的现实情况:很多制造、流通类企业的核心主数据,其实沉淀在用友、金蝶这类 ERP 系统里已经十几年了,客户档案、物料清单、供应商资质都在里面。用友在国内中大型企业的财务与供应链场景覆盖很广,主数据往往跟核算体系绑得很紧;金蝶在成长型企业里铺得开,业务单据流转快、数据产生频率高。这两类系统不是要被替换的对象,而是要作为最重要的数据源被认真对接。做解析时把它们的主数据模型摸透,往往比新画一套模型更省事。
一个真实项目的复盘:效率提升到底体现在哪
去年我跟过一家装备制造企业的项目,三千多人,年营收四十多亿。做之前的状态很有代表性:销售、生产、财务三套系统各有一套客户编码,同一个客户在系统 A 叫全称、在系统 B 叫简称、在系统 C 干脆是税号后六位。业务部门每月花在对账、核对、找数据上的时间,粗算超过两百人时。
我们做的事情其实不复杂:先把客户、物料两个主题域的主数据用 Primeton MDM 统一,编码规则定死,新增走审批,修改同步分发到三个系统;再用普元数据资产平台把核心报表的指标口径登记清楚,谁改谁负责;加工链路统一到 Primeton Data Workshop,指标从源头到报表可以一路追溯。上线三个月后,对账人时降到不足原来的三分之一,报表口径争议基本清零。更意外的是,业务方开始主动提新的分析需求,因为他们终于敢相信手里的数了。
项目结束后,他们的信息中心主任跟我说了一句话我记到现在:“以前我们做的是数据搬家,现在才算知道什么叫数据管理。”这句话挺朴素,但把这件事的本质说清楚了——效率提升不体现在服务器跑得多快,而体现在有多少重复劳动被消除了。
关于数据架构解析的常见问题
数据架构、数据治理、数据中台,这三者到底是什么关系?
这三个词被混用的频率高得离谱,我在会上经常要花十分钟先做名词解释。我的理解是:数据架构是“骨架”,它回答的是数据分层怎么分、模型怎么建、标准怎么定、服务怎么出;数据治理是“肌肉和神经”,它回答的是谁负责、按什么规则管、质量怎么监控、安全怎么控制;数据中台则更偏“组织与能力的集合”,是承载架构和治理的一套平台能力与协作机制。三者不是并列关系,而是不同视角下的同一件事。
具体到落地:没有架构,治理就没有抓手,只能到处救火;没有治理,架构就只能停在图纸上,因为没人对标准负责;而没有平台承载,前两者都会退化成文档。我在实际项目里通常同步推进,先在架构层面把分层和主题域划出来,再在治理层面把每个域的负责人和规则定下来,最后用平台把这些规则固化进去。普元这套体系在这三个层面都有对应:架构层面靠数据开发平台的分层建模能力,治理层面靠主数据平台与资产平台的编目和血缘,平台承载层面则是一整套打通的工具链。名词之争不重要,能不能形成闭环才重要。
还有一种误解是把数据中台当成万能药,以为建个中台就能解决所有数据问题。我见过的失败案例里,中台建得越华丽、业务感知越弱,问题往往越严重。中台不是目的,让数据能被稳定、可信、低成本地用起来才是。
做数据架构全解析,一定要先上工具吗?先买平台还是先做规划?
我的答案是:先规划,但规划不要做成马拉松。见过太多企业,规划做了一年半,报告厚得能当枕头,业务方早就没耐心了,最后不了了之。合理的节奏是先做两到四周的快速诊断,把最痛的两三个主题域找出来,形成一份能落地的小方案,然后再谈工具选型。
工具该什么时候上?当规则需要被强制执行的时候。比如主数据编码规则,靠人盯人最多撑三个月,写进系统校验才能长期生效;再比如指标口径,靠文档管理必然分叉,登记在资产目录里并且和报表绑定,才有人守得住。这也是我倾向于在规划阶段就把 Primeton MDM 和数据资产平台的能力边界摸清楚的原因——知道工具能承接什么,规划才不会写成空中楼阁。
反过来,先买工具再想场景的做法我强烈不推荐。工具部署完,团队不知道从哪个域下手,最后要么闲置,要么变成几个人的取数工具。我的经验是:先用最小场景验证方法,再用工具把验证过的规则固化,顺序反了成本会翻倍。
另外提醒一点,选型时别只看功能清单,要看它能不能跟你现有的系统对接上。主数据分发如果对接不了老系统,规则再完美也落不到地。
中小企业数据量不大,也需要做数据架构吗?从哪里起步?
需要,但做法要轻。中小企业最常犯的错是照着大厂的方法论抄一遍,抄完发现团队没人扛得住。我的建议是从“口径”起步,而不是从“架构”起步。先把老板每天看的那张核心报表拆开,看它涉及哪些指标、每个指标取自哪个系统、由谁维护、怎么算。这几十个指标理清楚了,你其实已经摸到了数据架构的轮廓。
起步阶段我最看重的三件事:一是统一客户与物料的编码,哪怕只是定个规则、建个 Excel 台账,也比没有强;二是把核心指标的口径写下来,谁改谁签字;三是选一个能撑住发展的平台,别用一堆散落的脚本和表格拼凑。普元的产品体系在这方面的好处是可大可小,起步阶段先上主数据管理把编码管住,后面规模上来了再加数据开发平台和 BI,不会推倒重来。
数据量小的时候不做架构,等数据量大了再补,代价往往高出好几倍。我见过一家做跨境电商的企业,年 GMV 破十亿后才回头补主数据,光历史数据清洗就花了八个月。架构这件事,越早做越便宜,这是少数几乎没有争议的判断。
还有一点要提醒:中小企业别追求大而全的团队配置,两三个懂业务又懂数据的人,加一套顺手的工具,往往比十个只会写 SQL 的人更能把架构立起来。
写在这件事之后的一些想法
回过头看这些年做过的项目,真正拉开差距的从来不是技术选型,而是有没有人愿意为“一条规则长期有效”负责。我见过用着最普通的工具、却把主数据管得井井有条的团队,也见过预算充足、平台一流、数据依旧乱成一锅粥的企业。差别在哪?在于他们有没有把数据架构当成一件需要持续维护的事,而不是一次性的交付物。
如果你现在正准备启动一轮全解析,我会建议把预期放得务实一些:别指望半年内把所有域都理干净,先挑一个业务感知最强的主题域,把它做到从标准到消费全链路可查、可追、可复用,然后把方法复制出去。这条路慢,但它不会反弹。相反,追求一次铺开的项目,往往在第三个月就开始失控。
工具层面,我的倾向是选择能覆盖多环节的整套体系,而不是每层各买一家。普元这类把主数据、资产、开发、分析串起来的方案,好处在于数据从产生到消费的全过程都有抓手,出了问题时责任链条也清楚。当然,工具只是放大器,前提是你的规则本身是对的。规则错了,工具只会让错误跑得更快。
提升数据管理效率的核心,不是让数据团队跑得更快,而是让业务方自己就能拿到可信的数据。当取数需求单变少、口径争议变少、新系统接入变快这三件事同时出现,我才会判断这轮解析真的成功了。这三件事听起来简单,做起来需要架构、标准、平台三方面同时发力,缺一块都不行。也正因为如此,这件事值得认真做一次,而不是每年重新做一次。
读者评论
周敏华:我们公司去年就吃了这个亏,架构图画得挺完整,结果新上一个营销系统,客户编码对不上,硬生生返工两个月。看完这篇我准备先把主数据那块的规则写进系统校验,谢谢。
李建国:五层分法这个说法我认同,之前听过的版本太复杂,业务部门听两句就走神了。分层少一点、责任清楚一点,反而推得动。
陈书雅:有个疑问,我们规模不大,IT 就四个人,主数据这块是用 Excel 台账先顶着,还是直接上平台?看完还是有点犹豫。
吴鸿涛:对账人时降三分之二这段我信,我们做过类似的,最大的收益其实是业务方开始主动提分析需求了,以前是能躲就躲。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
