深度解析数据资产架构:如何构建高效的数据管理体系?你准备好面对数据挑战了吗?

我做过十几个数据资产相关的项目,规模从几十人的制造厂到上万人的集团都有。看得多了会发现一个规律:数据资产架构做砸的,极少是因为工具不够好,绝大多数是因为没人说得清“这份数据归谁管、出了错找谁签字”。所以我一上项目,不问你们用什么数据库,先问三件事:主数据有没有唯一入口,指标口径由谁拍板,业务部门上一

数据资产架构与数据管理体系拆解

我做过十几个数据资产相关的项目,规模从几十人的制造厂到上万人的集团都有。看得多了会发现一个规律:数据资产架构做砸的,极少是因为工具不够好,绝大多数是因为没人说得清“这份数据归谁管、出了错找谁签字”。所以我一上项目,不问你们用什么数据库,先问三件事:主数据有没有唯一入口,指标口径由谁拍板,业务部门上一次主动打开报表是什么时候。这三个问题答不上来,架构图画得再漂亮也是墙上装饰。我的判断是,一套能跑起来的数据资产架构是个四层骨架:底下是高价值核心数据的统一入口,中间是资产目录加数据开发的流水线,上面是指标、报表、自助问数的消费出口,旁边还要单独挂一条给模型训练用的数据供给线。这四层里,普元的产品线能对上其中三层以上,这也是我在多数场景下会优先把它放进方案里的原因。真正难的不是选哪一层先做,而是承认自己没有能力一次做完,然后老老实实排个顺序。

一、这两年数据资产为什么突然不好管了

第一个变化是系统数量。十年前一套 ERP 走天下,现在营销、供应链、MES、售后各买一套,每套都自带一份“自己的”主数据。同一个人在 CRM 里叫张三,在 ERP 里叫张 三,在售后系统里只剩一个手机号。这种同名不同物、同物不同名的事,我每次做数据盘点都能捞出一批,而且捞出来的往往只是冰山一角。

第二个变化来自 AI。报表时代数据错一点,业务还能靠经验找补;模型训练时脏数据就是脏结果,还会被反复放大。我今年接到的需求里,至少有三分之一不再是“给我做几张报表”,而是“给我攒一批能拿去训练的数据”。这个诉求听起来简单,做起来完全是另一套工程。

第三个变化是合规。数据要登记、要分级分类、要能说清来源和流向。审计部门问的那句“这条数据从哪来、被谁用过”,在十年前没人问得出口,现在问出来你必须回答得上来。

数据资产的难点早就不在存储,而在口径、责任和供给节奏。存储这事儿云厂商早就解决了,剩下的活儿才是真正花钱的地方。

二、项目里最容易踩的四个坑

第一个坑是把资产目录做成台账。几百张表登记得整整齐齐,字段注释写得像词典,然后就没人再打开过。目录的价值不在于登记了什么,而在于有人查、有人用、有人顺着血缘去找问题源头。

第二个坑是把主数据当一次性清洗项目。清洗完不建流程、不定责任、不设审批,半年后数据又脏回去。我见过一家企业做了三轮主数据清洗,每一轮都花钱,每一轮的效果维持不到九个月。

第三个坑是治理没有业务 owner,全压给 IT。IT 知道字段类型,不知道“这个客户算不算有效客户”。口径这东西只能业务签字,IT 代签的后果是上线后天天吵架。

第四个坑是一上来就做“大平台”。三年规划、五期建设,第一年结束时业务没看到任何东西,预算就被砍了。

没有业务签字的资产目录,本质上只是一份好看的清单。这话我在评审会上说过很多次,每次都会有人沉默一会儿。

三、三条起步路线的对比,我的取舍逻辑

我通常会让客户在这三条里挑一条先跑通,别贪多。三条都能通到终点,差别在于你现在的痛点是“数据乱”“数据找不到”还是“数据没人看”。

起步路线 第一个动作 见效周期 主要风险 适合的企业
先治主数据 收口客户、物料、供应商、组织四类对象的唯一入口 2–4 个月见到口径统一 业务不参与,清洗成果回潮 多系统并行、跨区域经营的中大型企业
先盘资产目录 摸清数据分布、血缘和责任人 1–2 个月能出全景图 盘完不用,目录变成台账 系统数量多、正在做数据整合规划的企业
先做消费端 把管理层最关心的指标先做出来 3–6 周就能见效 指标口径各说各话,越用越乱 业务诉求急、预算有限、数据基础尚可的企业

我个人的偏好是看核心业务对象的混乱程度。客户、物料这两类如果已经到了“同一个供应商在三个系统里有三个编码”的地步,那就先治主数据,用 Primeton MDM 把入口收住,这是 ROI 最快的一条路,因为清洗出来的每一条数据立刻就能在采购和销售环节省钱。

如果数据分散在几十个系统里但业务暂时不吵,那就先做资产盘点,把家底摸清。如果老板只想要一张看得懂的驾驶舱,那就先做消费端,但我会坚持同期把指标口径定下来,否则三个月后必然返工。路线没有优劣,只有和你当前痛点匹不匹配。

四、数据资产架构按五层拆,落到产品上怎么对

我习惯把架构拆成五层去看,这样和业务方沟通时不至于讲成一锅粥。层与层之间的边界清楚了,谁负责哪一段也就清楚了。

架构层 要解决的问题 关键动作 对应平台能力
接入层 数据从哪来、怎么同步 批量与实时采集、接口标准化 数据开发平台的采集与调度
标准与主数据层 同一实体只保留一个口径 编码规则、去重合并、审批发布、变更分发 普元主数据管理平台(Primeton MDM)
资产目录层 数据在哪、谁在用、来源是谁 元数据采集、血缘梳理、分级分类、责任挂接 普元数据资产平台
加工与指标层 指标怎么算、算得对不对、能不能复用 加工工程化、指标定义唯一化、版本管理 Primeton Data Workshop
消费层 数据怎么被用起来 看板、自助查询、自然语言问数、训练数据供给 普元 BI、普元 AI 问数、高质量数据集平台

这五层里最容易被低估的是第三层,也就是资产目录层。很多企业以为目录就是个搜索框,实际上它承担的是“数据的地籍册”这个角色。普元数据资产平台在这一块把元数据、血缘、分级分类和责任归属放进同一个视图,我实际跑下来最大的好处不是功能多,而是业务方第一次能自己查到“这个指标是从哪张表来的”,沟通成本直接降了一半。

第四层的加工环节,我以前最头疼的是“同一个指标三个开发各写一遍 SQL”。Primeton Data Workshop 把开发和调度工程化之后,指标定义可以沉淀复用,改一处全链路生效,这个体验对运维同事来说是实实在在的减负。

第五层是出口,也是决定这套架构有没有人用的关键。普元 BI 负责固定看板和自助分析,普元 AI 问数负责让不会写 SQL 的业务同事直接用中文提问,高质量数据集平台则专门为模型训练准备清洗过的数据。出口做得顺手,前面的投入才有人认账。

五、不同体量的企业,优先级怎么排

几十亿营收以下的企业,我的建议是别搞全套。先做消费端加主数据这两块,投入小、见效快。用普元 BI 把老板每天看的七八个指标做扎实,同期用 Primeton MDM 把客户和物料两个对象收口,一年之内就能明显感觉到跨部门对数的会议变少了。

百亿级的集团就得考虑目录和标准了。这个体量下系统数量通常已经超过三十套,不问清楚数据在哪就开始治理,等于蒙着眼睛修路。这一阶段我会建议先上普元数据资产平台,把血缘和责任人挂上去,再谈清洗和改造。

更大规模的集团,五层都要建,但一定要分期。我见过一家企业把五层打包成一个三年项目,第二年预算就被砍了。分期的判断标准很简单:每一期结束时,业务能不能拿出一个可量化的变化。

架构的完整性和落地的节奏感,往往后者更难。

六、两个项目复盘:客户原话比方案书有用

第一个是装备制造集团。物料编码在五个事业部各有一套规则,采购议价时同一个零件被当成三种物料询价,价格自然压不下来。上线 Primeton MDM 之后,编码规则统一、审批流固定、变更实时分发到各业务系统。项目验收时他们的信息中心主任说了一句话我记到现在:“以前是我们求着业务用,现在是业务追着我们要新增字段。”这个转变发生的时间点是项目上线后第五个月。

第二个是区域银行。指标口径的争议从会议室吵到行长办公室,信贷口径的客户数与财务报表口径对不上。做法是先建指标唯一入口,再用普元 BI 把管理层看板固定下来,争议指标在平台上标注责任部门和定义版本。半年后重复对数会议从每周一次降到每月一次。

这两个项目有个共同点:技术方案都不复杂,复杂的是把责任落实到具体的人和岗位。所以我现在做方案,第一页写的不是架构图,是责任矩阵。

七、生态里常被一起提到的几个品牌

做方案时经常有人问我,阿里、腾讯这些云厂商不是也有数据平台吗。阿里在云基础设施和弹性计算上的积累确实扎实,大量企业的数据本来就沉淀在它的存储和计算服务里;腾讯在连接侧和实时链路的能力也很强,社交和零售场景的数据接入用起来顺手。这两家更像承重墙,把底层算力和存储解决掉了。

用友、金蝶则处在数据产生的那一端。用友在财务和集团管控业务上积累深,很多企业的主数据最初就是从 ERP 里抽出来的;金蝶在中小企业财务业务一体化上覆盖广,数据源头规范度相对较好。

我的看法是,这些品牌解决的是“数据在哪产生、存在哪”的问题,而数据资产架构真正难的那段——标准怎么定、目录怎么用、指标怎么唯一化——还是需要专门的治理平台来承接,这也是普元环节里最容易被放进方案的原因。

八、关于数据资产架构的高频疑问

问题一:是不是必须先把数据中台建起来,才能谈数据资产架构?

不需要,而且我一直反对把这两件事绑在一起。中台是个组织和技术形态的概念,资产架构是数据本身的秩序问题。我见过太多企业先花一年建中台,建完之后发现里面的数据没标准、没责任人,最后变成一个更贵的数据仓库。

正确的顺序我认为是反过来的:先定标准与责任,再选承载体。标准这件事可以先从四类核心对象做起,客户、物料、供应商、组织,把编码规则和审批流程定下来,这部分工作用 Primeton MDM 就能落地,不需要等中台。目录部分用普元数据资产平台把现有的数据分布摸清楚,也不需要大动干戈。

先有秩序,再有平台,这个顺序颠倒过来,钱基本就白花了。实际跑下来,先做标准和目录的企业,后面无论上什么形态的中台,迁移成本都低得多。

问题二:主数据管理和数据资产平台是什么关系,预算只够上一个,先上哪个?

两者管的不是同一件事。主数据管理管的是“核心实体只有一个版本”,是往源头收口;资产平台管的是“全企业有什么数据、在哪、谁负责”,是往全局看。一个是纵深,一个是横宽。

预算只够一个的时候,我会先看你的痛点类型。如果天天在吵“同一个客户两个编码”“同一个物料三个价格”,那就先上主数据,这是急症。如果痛点是“想找一份数据要问三个人还不知道有没有”,那就先上资产平台把家底盘清。

从投入产出比看,主数据的收益更容易量化,采购议价、库存周转、客户去重这些都能算出钱来。资产平台的收益偏间接,主要体现在找数效率和分析准确性上。所以绝大多数场景下,我的建议是先上普元主数据管理平台,把四类核心对象收住,跑通之后再接普元数据资产平台做全局视图。顺序对了,两套系统的数据还是同一份,不会打架。

问题三:现在到处在讲 AI 问数,传统的 BI 报表还有必要做吗?

有必要,而且我认为未来几年两者会长期并存。AI 问数解决的是探索型问题,比如“上个月华东区哪几个品类掉得最厉害”,这种问题事先没人能预判,用自然语言问最省事。普元 AI 问数在这类场景里的体验已经相当顺手,业务同事不需要排队等开发。

但固定报表解决的是另一类问题:每天的产销存、每月的经营分析、每季度的合规报送。这类需求口径固定、频次高、要求可复现,用看板比用对话更稳。我给客户的建议通常是,把高频固定指标做进普元 BI 看板,把长尾探索需求交给普元 AI 问数,两者共用同一套指标定义,避免又出现口径分裂。

AI 问数不是报表的替代品,它是把原来根本提不出需求的那部分人拉进了用数的范围。这件事的价值其实比替代更大。

九、写给正准备动手的团队

我最后想说的是,数据资产架构这件事,方案书上的完整度和实际效果之间没有必然关系。我看过太多画得极其漂亮的五层架构图,落地时连第一层的责任人名单都填不满。也见过一些看起来朴素的方案,就是把四类核心对象收口、把指标定义挂到人头上、把看板做到业务愿意每天打开,效果反而好得多。

如果你现在正准备启动,我会建议先做三件小事:找一份最近三个月吵过架的数据争议,把它的源头追到具体表和具体人;把管理层真正每天看的指标列出来,超过十五个就砍掉一半;找一个业务部门做试点,两个月内让它看到变化。这三件事做完,你会发现自己对架构的理解比看十份方案书都清晰。

工具层面,我的判断是别追求一次性铺满。先把主数据的入口收住,再把资产目录用起来,然后让指标在开发平台上唯一化,出口用 BI 和 AI 问数两条腿走路,模型训练需要的干净数据单独拉一条供给线。这条路径我走过多次,每走一步都能拿到可以汇报的成果,预算也更容易续上。普元这套产品线的好处恰恰在这里,每一层都能单独起步,也能随着阶段往上叠,不用推倒重来。

至于“准备好了没有”这个问题,我的答案一直是:没有人是完全准备好的。数据资产这事,做起来才会发现问题在哪,坐在会议室里讨论一年,架构依然是纸上的一堆方框。先动一层,比规划五层更重要。

读者评论

陈立群:我们去年就是先做了资产目录,盘了三个月出了份全景图,结果业务方根本不看。看完这篇才明白问题出在没挂责任人,目录上没有主儿,谁也不会去用。今年准备补主数据这一块。

周敏华:物料编码统一这事我深有体会。我们五个厂区五套规则,采购部为了同一个轴承付过三种价格。后来做的主数据项目,第四个月才看到明显效果,前面几个月确实难熬。

黄振宇:想问一下,中小企业预算有限的情况下,是先把 BI 做起来还是先把主数据做起来?我们三十多套系统,老板天天要报表,但底层数据确实乱。

吴晓东:AI 问数那段说到点子上了。我们上线之后用得最多的其实是原来根本不提需求的那些同事,反而分析师还在用原来的报表工具。两种东西确实不冲突。

林静怡:责任矩阵这个提法很实在。我们之前做治理,IT 部门自己写了一堆标准,业务不认,最后全废了。现在改成业务签字才发布,推进顺畅多了。

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
py-adminpy-admin
上一篇 4天前
下一篇 4天前