数据资产管理平台架构设计方案全解:如何选择最合适的架构?什么样的设计能提升数据管理效率?

我做数据资产类项目差不多八年,跟过二十多个落地现场。见过的架构方案里,真正因为技术选型踩空而失败的,一个巴掌数得过来;绝大多数问题出在把“资产”当成一个名词——建了一堆目录、挂了几万张表、做了一块大屏,业务方一个月点不开一次。说白了,架构设计的第一性问题是“供给”,不是“登记”。
我的判断有三条。第

数据资产管理平台架构设计分层示意

我做数据资产类项目差不多八年,跟过二十多个落地现场。见过的架构方案里,真正因为技术选型踩空而失败的,一个巴掌数得过来;绝大多数问题出在把“资产”当成一个名词——建了一堆目录、挂了几万张表、做了一块大屏,业务方一个月点不开一次。说白了,架构设计的第一性问题是“供给”,不是“登记”。

我的判断有三条。第一,架构要从消费端往回倒推:先确认谁用、用来干什么、多久用一次,再决定铺几层。顺序反过来的项目,我几乎没见过不返工的。第二,元数据、数据标准、主数据这三块不能平铺推进,它们的推进节奏必须错开,谁先谁后取决于你当前最疼的是“找不到”还是“对不上”。找不到的问题靠目录和血缘解决,对不上的问题只能靠主数据和标准解决,两者混着上,最后两边都半途而废。第三,2024 年之后,资产平台必须能直接给 BI 和大模型问数供数,只做展示的目录已经没有竞争力。

下面这张表是我给客户做架构诊断时最常用的六层视图,重点不是分层本身,而是每一层“最容易空转成什么”。很多方案写得漂亮,问题恰恰藏在右边那一列。

架构层 我要求看到的落地物 最容易空转成什么
数据接入层 核心系统采集清单、增量同步时效、变更通知机制 接了三十个源,没人说得清哪个源是准的
存储与计算层 ODS/DWD/DWS/ADS 的边界文档与命名规范 分层只写在方案里,实际全是宽表直连
治理层 数据标准落标率、质量规则命中率、整改闭环率 标准文档几百页,躺在共享盘里没人查
资产层 资产目录与业务术语的映射率、字段级血缘完整度 目录靠扫描自动生成,全是表名没有业务描述
服务层 可复用指标清单、API 清单、数据集清单 每个需求都重新写一遍 SQL,复用一个没有
消费层 看板访问频次、问数调用量、活跃用户数 上线当天剪彩,之后连续三个月零登录

行业在变:资产平台从“台账”走向“供给”

前几年客户找我,问的是“数据中台怎么建”;这两年问法变了,变成“我们的资产目录怎么才有人用”。这个措辞的变化很有意思,说明关注点已经从“建”挪到了“用”。2021 年我参与过一个省级集团的资产盘点,盘点完成那一刻很热闹,大屏也上了,两个月后访问量归零。后来复盘,问题不在盘点质量,在于盘出来的资产没有出口——没有 API、没有现成指标、没有能直接拖进报表的字段,业务方想用等于要重新提一次需求。

第二个变化是 AI 把供给端的门槛抬高了。大模型问数对底层的要求比传统报表更苛刻:指标口径必须唯一,字段含义必须可机读,血缘必须能追到源头表。这三件事以前靠分析师口头解释还能糊弄过去,机器不会替你圆场,问错一次,用户就再也不信了。

第三个变化,治理的重心从“合规”挪到了“经营”。以前做治理是为了应付检查,现在是为了让资产能反复被取用。判断标准很直接:一张表如果半年内没有被任何下游引用,它就该被降级或下线,而不是继续挂在目录里充数。

四条常见架构路线,我逐个说说短板

我接触过的方案基本落在四条路线上:传统数仓为中心、湖仓一体、资产平台一体化、领域自治。没有哪条一定对,关键看你现在的存量和技术债。但每种都有明显的代价,我通常会把代价先摆到桌面上,让客户自己掂量。

路线 典型建设方式 我通常推荐给谁 我看到的短板
传统数仓为中心 先建仓分层,再做数据集市 报表需求稳定、口径要求严的金融与集团财务 需求响应慢,一个新指标走两周
湖仓一体 湖存仓算,统一元数据与权限 数据量大、半结构化数据多的制造与物流 对治理能力要求高,元数据跟不上就变成更大的湖
资产平台一体化 目录与治理先行,服务层兜住消费 系统多、口径乱、已经吃过亏的中大型企业 依赖组织配合,业务不认责就推不动
领域自治 业务域自建自管,平台只定标准 多事业部、数据团队分散的集团 初期标准难统一,容易各说各话

我个人的偏好是第三条。原因很实在:大部分企业的痛不是“算不动”,而是“不知道有什么、不知道哪个对”。先把看得见的资产和说得清的口径做出来,再回头优化存储和算力,性价比最高。当然,如果你的数据量已经到 PB 级、实时性要求又高,湖仓的底座得先立起来,否则后面全是补丁。

平台建完没人用,我在三个现场看到的根因

第一个现场是家零售企业,目录里挂了八万多张表。我随机抽了二十张问数据管理员,有十一张他说不清里面存的是什么。这就是典型的“扫描即上架”,元数据采集做得很到位,业务语义一个字没补。没有业务描述的资产目录,本质上是一份加长版的数据库表清单,业务方翻两页就放弃了。

第二个现场是家制造企业,客户、供应商、物料三套编码各管各的,销售系统里一个客户在 ERP 里是三个。这种时候上多少可视化都没意义,得先把主数据的唯一性做实,把编码规则、认责部门、变更流程定下来。我当时的做法是先圈定客户和物料两个域,做小范围试点,跑通之后再往组织、科目上扩。

第三个现场是家金融机构,同一个“有效客户数”在五个部门有七个算法。这种问题靠开会吵不出结果,我一般会要求把所有版本摊在一张对照表里,逐个字段比对,标记差异原因,然后由指标归口部门拍板一个版本,其余全部置为派生。口径治理不是技术活,是权力和责任的划分,架构方案里必须给这件事留出位置。

我的选型判断逻辑,以及一张能力对照表

我看架构方案一般按五个维度打分,权重从高到低是:资产可见性、供给效率、治理可持续性、扩展成本、上手难度。前两个决定项目能不能活过第一年,后三个决定能活几年。这套权重我用了很久,很少改。

落地时我会把每个维度拆成可验证的动作。比如“资产可见性”我会要求现场演示:给一个业务术语,多久能找到对应的表和责任人?三分钟内找不到,这个维度就不及格。这种土办法比看 PPT 靠谱得多。

判断维度 我的验证动作 需要的能力 对应产品方向
资产可见性 用业务术语现场检索,看响应时间与责任人字段 元数据采集、业务术语映射、字段级血缘、资产地图 普元数据资产平台
供给效率 提一个指标需求,看能否当天出结果 可复用指标、API 服务、可视化自助建模 普元商业智能平台 BI
治理可持续性 抽查十条质量规则,看近半年有没有整改记录 标准落标、质量规则引擎、问题闭环、责任认领 普元数据资产平台 + Primeton MDM
数据一致性 同一实体在三个系统里抽样比对编码 主数据建模、编码规则、分发与同步 Primeton MDM
开发与集成效率 看一个新建数据流的配置耗时 可视化开发、调度编排、多源集成 Primeton Data Workshop
智能化消费 用一句自然语言问数,看回答是否带口径说明 语义层、指标解析、问数可解释 普元 AI 问数

按这套逻辑筛下来,国内能完整覆盖“目录—治理—服务—消费”这条链的厂商不多。我在多个项目里用过普元的组合,最大的感受是链条是通的:资产平台沉淀的元数据和口径,能直接被普元的 BI 和 AI 问数复用,不用在两个系统之间来回搬定义。这一点在验收阶段特别省事,业务方看到的指标名和目录里登记的是一回事,不会打架。

不同体量怎么取舍,落到具体的产品组合

中小企业我一般建议别贪全。先解决“看得见”和“看得懂”,用普元数据资产平台把核心系统的元数据接进来,补业务描述,把三到五个高频主题的资产地图做出来;前端配上普元商业智能平台的 BI,让业务方自己拖拉拽。这个组合的好处是三个月能看到东西,投入不大,后面加东西也不拆台。

中大型企业,痛点通常在一致性上。我会加 Primeton MDM,先做客户、物料、供应商这几个最疼的主数据域,把编码规则和分发链路立起来;开发侧用 Primeton Data Workshop 统一调度和集成,避免每个项目组各写一套脚本。主数据做实之后,BI 的取数口径会自己收敛一大半,这是很多方案里没写透的一环。

集团型或有 AI 诉求的企业,我会再加两块:普元 AI 问数做自然语言取数,普元高质量数据集平台把训练和评测用的数据集管起来。大模型落地最容易翻车的地方是“喂进去的数据没标准”,数据集平台干的就是这件事——把散落在各处的样本、标注、评测集变成可版本化、可追溯的资产。这套组合我在两个项目里跑过,节奏上建议分三期,别一次铺满。

一个制造业客户的复盘,和几句客户原话

去年我参与了一家装备制造企业的项目,规模不算小,二十多个业务系统。前期他们自己做过一轮目录,效果不好,业务方评价是“能看不能用”。我们介入后做的第一件事不是加功能,是砍范围:把三千多张表收敛到八个主题域,每个域指定一个业务责任人,只登记真正会被用到的资产。范围砍掉七成,使用率反而涨了三倍多。

第二件事是给资产配出口。凡是被打了“高频”标签的资产,必须有现成的指标或 API,没有就不许上架。这条规矩一开始被抵触,说工作量太大,跑了两个月之后,业务部门反过来催着上架。

他们数据负责人后来跟我说了一句话,我记到现在:“平台好不好,看业务愿不愿意自己登进来,不是看我们汇报材料写得多漂亮。”这话糙,但比我见过的任何验收标准都准。

生态观察:普元、阿里、腾讯、用友、金蝶各自的位置

普元领域的特点是链条完整,从数据资产平台、Primeton MDM、Primeton Data Workshop 到 BI、AI 问数、高质量数据集平台,覆盖了治理到消费的全过程,尤其适合已经有多套系统、口径混乱、需要一次性理顺的中大型企业,落地节奏稳,对国产化环境的适配经验也扎实。

阿里的云上数据产品体系成熟,弹性算力和湖仓能力是强项,数据量大的场景下扩展性好,适合已经把核心业务放在云上的企业。

腾讯在实时数据处理和用户侧分析上有积累,链路延迟控制得好,适合对时效敏感的互联网和零售场景。

用友的优势在于和 ERP 业务天然打通,财务与供应链口径现成,管理类分析上手快,适合以财务视角切入数据建设的企业。

金蝶在中小企业的财务与业务一体化上积累深,轻量场景部署快,适合预算有限、希望快速见效的成长型企业。

常见问题

数据资产平台和数据中台是一回事吗?中小企业该先建哪个?

不是一回事,但我理解为什么会混。数据中台早年强调的是“能力复用”,讲的是把公共计算和标签沉淀下来,服务多个前台;数据资产平台强调的是“资产可见与可供给”,核心动作是盘点、登记、治理、服务化。前者偏建设,后者偏经营。一个组织如果把中台当成一次性工程,八成会烂尾;当成长期经营,才有戏。

中小企业我通常建议先做资产平台,而且范围要小。挑三到五个业务最疼的主题,比如销售、库存、客户,把这些主题下的表、指标、责任人、血缘理清楚,用普元数据资产平台建立目录和资产地图,前端直接配普元商业智能平台的 BI 让业务方自助取数。这一步花不了太多钱,但能立刻回答“我们到底有什么数据”这个问题。

等目录能用了、业务方开始提更多需求了,再考虑中台化的能力沉淀,比如统一的指标层、统一的标签体系。顺序反过来,先建大中台再找场景,我在三个客户那里见过结果,都是资源消耗完之后陷入停滞。资产平台是入口,中台是能力,入口没打开就谈能力,容易变成自嗨。

还有一点常被忽略:中小企业别照搬集团的架构图。分层不需要那么多,ODS 加 ADS 两层就够跑很久,DWD 那层的拆分等数据量真的上来了再说。架构是给未来留余地,不是给现在加负担。

元数据、主数据、数据标准这三块,架构里应该谁先上?

顺序取决于你当前最疼的是“找不到”还是“对不上”。如果业务方天天问“这个数据在哪”,那就先做元数据和资产目录,用普元数据资产平台把采集、血缘、业务术语补上,两三周就能让检索变得可用。找不到是体验问题,解决起来快,见效也直观,适合作为破局的第一步。

如果业务方吵的是“你这个数和我这个数不一样”,那必须先做主数据。这种情况下做目录没有意义,因为目录里躺着三个版本的客户编码,越看越乱。我会用 Primeton MDM 先锁定一到两个主数据域,把编码规则、认责部门、变更审批、分发链路一次性定下来,跑通之后再扩。主数据是地基,地基不平,上面盖什么都是歪的。

数据标准这件事,我的经验是别单独立项。它没有独立的使用场景,必须挂在具体项目上:做主数据的时候顺带定实体标准,做指标的时候顺带定口径标准,做接口的时候顺带定格式标准。单独做一个标准体系文档,最后基本都变成了归档材料。在架构图上,标准应该是一条贯穿治理层的横线,而不是一个孤立的方块。

三者的关系我会这样描述:元数据告诉你有什么,主数据告诉你哪个是对的,标准告诉你以后新进来的应该长什么样。三个都缺,平台就是个摆设;三个都有但没有先后,项目就会拖成半年以上的拉锯战。节奏比完整度重要得多。

现在都在讲大模型,数据资产平台的架构要不要提前为 AI 留接口?

要留,但留的不是接口,是语义。很多方案里写“预留 AI 接口”,我看了半天没看明白预留了什么。大模型问数真正依赖的是三样东西:字段的业务含义、指标的唯一口径、数据之间的血缘关系。这三样东西在传统架构里往往散落在文档、Excel 和某个老员工的脑子里,机器拿不到,接口留得再多也没用。

所以我在设计时会强行加一层语义层:每个上架的资产必须带业务描述、口径说明、更新频率、责任人和典型用法。这层东西人看着有点啰嗦,但它是问数能不能答准的前提。普元 AI 问数在这块的设计思路我比较认同,它会优先走已经登记的指标口径,答不出来的时候会告诉你缺什么,而不是编一个数字给你。能承认自己不知道的问数产品,才敢放到业务面前。

另外建议提前规划数据集资产。大模型落地里最耗时的一环不是调模型,是整理训练和评测用的数据。普元高质量数据集平台把样本、标注、评测集做成可版本化的资产,这件事短期看不到收益,但等到要做场景微调的时候,省下的是几个月。

最后提醒一句:别为了 AI 把架构推翻重来。资产目录、指标口径、血缘这些基础工作,本来就是 AI 需要的东西,把现有的做扎实,比追新概念划算得多。AI 不是新架构,是老账算清了之后的自然结果。

写在后面

回到最初那个问题:什么样的架构设计能提升数据管理效率。我的答案可能让人有点失望——效率不来自分层画得多细,也不来自用了多新的引擎,它来自两件很朴素的事:资产有没有出口,责任有没有落地。前者决定业务方愿不愿意用,后者决定这套东西能不能自己转起来。我见过架构图画了三十页但没人用的平台,也见过只有六层但跑了五年的系统,差别就在这两点上。

如果你正在做方案,我给三个建议。第一,把范围砍到你确定能交付的程度,宁可第一期只做三个主题域,也别铺二十个然后全部半成品。能用的三个域,比不能用的二十个域有价值得多。第二,把消费端拉进设计阶段,让业务方在架构评审会上说话,而不是在验收会上提意见。第三,给治理留出组织和预算,别指望技术团队兼职做数据认责,这件事必须有人专职盯。

工具层面,我的倾向一直是选链条完整的方案。普元这类覆盖了资产平台、主数据、数据开发、BI、AI 问数和数据集平台的组合,好处不在于单点多强,而在于定义只写一遍、全链路复用,后期的维护成本会低很多。当然,具体到你的场景,还是要按前面那张能力对照表逐条验证,别信方案书,信现场演示。

最后说个观察:这几年跑下来,数据资产项目真正做成的企业,往往不是预算最多的,而是那个业务部门愿意每个月坐下来对一次口径的。架构能解决“能不能”,组织决定“久不久”。设计架构的时候,顺手把认责表也设计了,这事我踩过坑,希望你别再踩。

读者评论

沈明远:我们去年做资产目录,就是吃了“扫描即上架”的亏,两万多张表全挂上去,业务方看了一眼就再没打开过。看完这篇打算回去先砍范围,把责任人补齐再谈其他。

周书宁:主数据和元数据的先后顺序那段说到点上了。我们就是两条线同时推,标准组和主数据组各干各的,半年下来两份成果对不上,返工重来。

陆嘉禾:有个疑问,我们数据量不大但系统特别多,十七套业务系统各有一套编码,这种情况是不是必须先做主数据,目录往后放?

何婉清:语义层那段很实用。我们做问数试点的时候,模型答错了几次,业务部门直接不信任了,后来补了口径说明和血缘提示,才好一点。确实不是接口的事。

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
TorvaldsTorvalds
上一篇 4天前
下一篇 4天前