数据资产平台架构是什么?如何构建一套高效的数据资产平台架构?

我做数据治理这行快十年,被问得最多的一类问题就是架构。老板们拿着别家的架构图来问:这个东西到底长什么样,我们要不要照着搭一套。我的回答通常是先把问题拆掉——数据资产平台架构的本质不是组件清单,而是一套「定义—生产—消费—回流」的契约关系。定义层解决\”什么算资产\”,生产层解决\”资产怎么被稳定加工出来\”

数据资产平台架构分层示意

我做数据治理这行快十年,被问得最多的一类问题就是架构。老板们拿着别家的架构图来问:这个东西到底长什么样,我们要不要照着搭一套。我的回答通常是先把问题拆掉——数据资产平台架构的本质不是组件清单,而是一套「定义—生产—消费—回流」的契约关系。定义层解决”什么算资产”,生产层解决”资产怎么被稳定加工出来”,消费层解决”谁能用、怎么用、用得怎么样”,回流层解决”用出来的问题怎么反向修正前面的定义”。这四件事如果没串起来,你堆再多的引擎、再多的可视化大屏,也只是一个昂贵的数据仓库。

我在项目上判断一套架构好不好,只看三条:能不能算清账、能不能被复用、能不能追到源头。算清账是指资产的成本、质量、使用频次有账可查;能被复用是指同一个指标或同一个客户主数据,不会在三个部门出现三种口径;追到源头是指任何一张报表上跳动的数字,点三下能看到它来自哪个源系统的哪张表、经过谁的加工。这三条看着朴素,落地时能卡住八成企业。很多团队一上来就谈湖仓一体、谈实时链路,我一般会劝住——架构的地基是元数据和标准,不是算力。

所以这篇文章我不打算给你画一张漂亮的方块图,而是讲清楚三件事:这套架构在国内企业的真实环境里由哪几层构成、每一层最容易在哪里塌、以及从哪一步开始动手最不容易半途而废。涉及具体工具时,我会以普元这条产品线的实践为主来讲,因为它的层次划分和我上面说的四层契约是对得上的,讲起来不容易跑偏。

先说清楚:数据资产平台架构到底在解决什么问题

很多企业把数据资产平台当成一个更大的报表系统,这是最要命的误判。报表系统的目标是”把数看明白”,资产平台的目标是”把数变成可被反复调用的生产资料”。前者是一次性交付,后者是持续运营。我在一个省级集团见过这样的场景:BI 团队三年做了八百多张报表,看着很繁荣,结果业务部门要做个新分析,还得回头找 BI 排期两周。没有资产化,报表数量的增长只会加剧重复建设,不会降低边际成本。

资产平台要解决的第一个问题是”口径打架”。财务部算的营收和销售部算的营收差 300 万,开会吵两小时,谁都说自己的对。根子在于没有一个权威的定义层,指标的计算逻辑散落在各人的 SQL 里。第二问题是”找不到、不敢用”。数据目录做了,但只登记了表名和字段名,没有业务含义、没有质量标签、没有责任人,业务人员翻半天还是不敢用。第三个问题最隐蔽——”用了之后没人知道”。哪张表被谁查过、影响多大、下线会不会炸,全靠老员工记忆。

这三个问题,对应的是定义层、服务层和运营层的缺失。我会要求团队在动手前先做一件事:把过去半年被调用最多的 50 个指标和 20 个实体(客户、产品、组织、供应商这类)拉出来,看看有几个是有明确owner和唯一计算逻辑的。这个数字往往很难看,但它就是你的架构起点。

为什么这两年企业又开始重做这套架构

上一轮建设高峰在 2018 到 2021 年,那会儿主流做法是建一个数据中台,把所有数据抽到一个大池子里,再统一对外供数。实际跑下来的问题是:池子建好了,业务侧的接入意愿不高,因为中台的交付节奏跟不上业务变化;同时池子里的东西越堆越乱,没人负责清理。

这两年的变化来自两头。一头是 AI 应用把需求顶到了前面,业务方要的不是报表,是”我问一句它答一句”,这对数据的语义完整度要求陡然提高——字段名叫 amt_01 的表,喂给模型也是废的。另一头是监管和成本压力,数据要有来源可溯、要有授权记录,同时老板开始问”这套东西一年花多少钱、省了多少事”。需求从”看得见”变成”说得清、算得准、管得住”,架构的重心自然就从存储计算往治理和语义上移。

我参与的改造项目里,最常见的手法不是推倒重来,而是在原有湖仓之上补两层:一层是语义与标准层,把指标、主数据、数据标准固化下来;一层是资产运营层,给资产打标签、记调用、算成本。这两层补上之后,原来那套东西才真正开始被业务当资产用。普元数据资产平台在这两个层面上的设计思路和我上面讲的一致,它把目录、标准、质量、血缘、服务放在一个体系里,而不是拆成几个互不相通的小工具,这点在改造场景里省了很多缝合工作。

我通常会拆成五个层次来看一套架构

层次划分各家说法不同,我用的是最土的一种,但落地好用。数据源层、汇聚加工层、资产管理层、语义服务层、消费应用层,横向再切两刀:贯穿全程的元数据与安全,以及贯穿全程的运营度量。这个拆法的好处是每一层都有明确的交付物,谁没交东西一眼看得出来。

汇聚加工层负责把数据搬过来、洗干净、按主题组织起来,这里对应的是数据开发平台的能力,普元 Primeton Data Workshop 在这一层承担的是可视化开发加任务调度,把原来靠人写脚本的活儿变成可管理的工程。资产管理层是很多企业最薄的一环,要做的是编目、打标、定标准、管质量、记血缘,普元数据资产平台主要落在这里。语义服务层往外提供统一的指标口径和数据 API,业务方不再直接连表。消费层则是对外的窗口,BI、自助分析、AI 问数都在这一层。

我会特别强调横向那两刀。元数据不是某一层的事,它是把五层缝起来的线;运营度量也不是项目验收时做一次,而是每月都要看的体检报告。少了这两条横线,五层就是五个孤岛。

层次 核心交付物 常见缺失表现
数据源层 源系统清单、变更通知机制 源系统改字段无人知晓,下游批量报错
汇聚加工层 主题域模型、可调度的加工作业 脚本散落在个人电脑,人一走流程就断
资产管理层 资产目录、标准、质量规则、血缘 目录只是表名清单,业务看不懂也不敢用
语义服务层 统一指标体系、数据服务接口 同一个指标三套口径,会上对不上数
消费应用层 报表、自助分析、智能问答入口 入口很多,彼此数据不一致,用户只信自己那张表

两种建设思路的差别,比选型更值得先想明白

我在评审方案时,习惯先分清楚对方要走哪条路:报表驱动还是资产驱动。这两条路的投入结构、见效周期、失败风险完全不同,选错了后面怎么努力都别扭。

报表驱动见效快,但资产驱动才降边际成本。报表驱动是业务提一个需求做一个,三个月内能交付,领导看得见成果;资产驱动前期半年几乎看不到界面,都在定标准、理主数据、补血缘,但从第七个月开始,新需求的响应速度会明显提升,因为你是在已有资产上组合,而不是从零开始挖。

对比维度 报表驱动模式 资产驱动模式
首个可见成果 1 到 2 个月 5 到 8 个月
需求响应方式 每单独立排期开发 在已有指标与实体上组合
口径一致性 依赖开发个人习惯 由指标中心统一约束
第三次类似需求成本 几乎与第一次持平 显著下降
主要风险 报表越堆越多,无人清理 前期战线过长,失去内部支持

我的建议是折中:用报表驱动的节奏跑资产驱动的内核。选三个高频、跨部门、争议大的主题(比如客户、收入、库存),一边交付业务看得见的分析场景,一边把这三个主题的实体、指标、血缘按资产标准建起来。三个月出场景,六个月出资产目录,这样内部支持不会断。

落地时最容易塌的四个地方

第一个塌方点是主数据没人管。客户在 CRM、ERP、电商后台三套系统里各有一份,手机号格式都不一样,做客户分析时先去重两小时。主数据不是技术问题,是流程问题。我在项目上会要求先定一件事:谁有权新增和修改客户信息,冲突时以哪个系统为准。这个规则定不下来,工具再强也白搭。普元 Primeton MDM 这类主数据管理平台的价值就在于把这份规则固化下来,做成申请、审批、分发、监控的闭环,让”以谁为准”从口头约定变成系统约束。

第二个塌方点是标准做成了文档。厚厚一本数据标准汇编,写完就锁进柜子,开发照旧各写各的。我的做法是把标准嵌到开发流程里——字段命名不合规,作业提交时直接拦下来。这件事靠制度喊话没用,必须靠工具卡口。

第三个塌方点是质量规则只监控不闭环。每天跑出一堆告警邮件,没人认领,三个月后大家自动忽略。有效的做法是每条规则绑定一个责任人,告警必须有人回执,并且在数据资产平台里记录处置过程。我会看一个指标:告警的处置率,低于 60% 说明这套质量体系是摆设。

第四个塌方点是最隐蔽的——资产目录做成了面子工程。为了数字好看,把几万张表全登记进去,业务一搜出来三页结果,直接放弃。好的目录是少而准,宁可先只上 300 个高频资产,但每个都有业务解释、有样例数据、有负责人、有质量分。

资源有限时怎么取舍:五个维度的对照

预算和人力永远不够,所以架构必须分优先级。我一般按”离业务决策的距离”排序,而不是按技术先进程度排序。离得近的先做,做完能立刻被看见的优先。

能力维度 优先级 判断理由 对应能力方向
指标体系与口径统一 高 直接决定会上能不能对上一个数 普元数据资产平台指标管理
核心主数据治理 高 客户、产品、组织不统一,后面全是脏活 Primeton MDM
血缘与影响分析 中高 源系统变更、资产下线时的安全网 元数据与血缘能力
自助分析与智能问答 中 前面没做扎实,这块做了也没人信 普元 BI、Primeton AI 问数
高质量数据集沉淀 中 有明确 AI 场景时价值最大,否则先放一放 高质量数据集平台

这张表我一般会拿去和 CIO 对齐。如果一年只能干两件事,就干指标体系和主数据,其他都可以往后排。很多企业反着来,先买一套自助分析工具发给业务部门,结果业务一用发现口径全是乱的,三个月后没人再打开。工具是放大器,放大的得先是正确的东西。

顺便说一句,这套东西最终要落到一个能把链路串起来的平台上。我见过把每个环节单独采购、再用定制接口缝合的做法,两年后维护成本高得吓人。普元这条产品线的思路是把数据开发、资产治理、主数据、分析消费放在一个体系里,元数据和权限是天然打通的,这在长期维护上省的不是一点半点。当然前提是企业自己得把标准和流程定清楚,平台只是把规则固化下来的载体。

一个制造业客户的实际推进过程

去年我参与过一家装备制造企业的项目,年营收百亿级,系统有 ERP、MES、CRM、SRM 加上自建的几个小系统,数据库加起来四十多套。他们最初的需求很朴素:能不能把每月经营分析会的材料自动化,别再让三个部门各做一版 PPT。

我没有直接答应做自动化,而是先花了三周做资产盘点。结果发现经营分析会上用的 42 个指标里,只有 11 个有明确的计算定义,剩下的全靠各人口头解释。指标口径的混乱程度,往往和部门数量成正比,和系统数量也成正比。我们先用两个月把 42 个指标逐个定稿,明确每个指标的计算逻辑、数据来源、责任人、更新频率,落到普元数据资产平台的指标管理里。这个过程吵得很凶,尤其是”毛利”和”交付及时率”两个指标,销售和供应链各执一词,开了四次会才定下来。

第二阶段做客户和物料两块主数据,用 Primeton MDM 建了申请审批和分发流程,把 CRM 和 ERP 的客户编码打通。这一阶段业务方第一次感受到好处——原来查一个客户的历史订单要切三个系统,现在一个视图里能看到。有了这个甜头,后面推数据标准和质量规则的时候,配合度明显不一样了。

第三阶段才做分析消费。数据开发侧的作业统一收拢到 Primeton Data Workshop 上管理,分析侧用 BI 做经营驾驶舱,同时试点了 AI 问数,让业务人员用自然语言查一些常规指标。他们 CIO 后来跟我讲的一句话我印象很深:技术选型没花多少时间,费时间的都是让人同意用同一套口径。这句话我建议所有要做架构的人都记一下。

几个被问得最多的问题

数据资产平台和数据中台是一回事吗?我是不是建了中台就不用再建资产平台?

不是一回事,但经常被混着说。中台这个概念当年的重点是”能力复用”,落地上更多表现为一个集中式的数据和服务中心,解决的是”数据要从各处汇聚到一处”的问题。资产平台的重点是”资产的认定与运营”,解决的是”哪些数据值得当成资产来管、谁负责、值多少钱、用了多少”。一个是汇聚与供给的视角,一个是确权与运营的视角。

我通常这么解释:中台像是一个大型仓储中心,把货都收进来了;资产平台是仓库里的台账系统加资产评估系统,告诉你哪些是畅销品、哪些压了三年、哪些快过期了。没有台账,仓库越大越乱。所以已经建了中台的企业,恰恰更需要补资产平台这一层,把原来堆在池子里的东西梳理清楚。

从建设顺序上,我的建议是如果中台已经建成,不必推倒,直接在它之上补编目、标准、质量、血缘和运营度量这几件事。普元数据资产平台在改造类项目里的适配思路就是对接已有的存储和计算,不要求企业把底层换掉,这样投入可控,见效也比较快。如果中台还没建,或者建了但使用率很低,那更稳妥的路径是直接从资产治理切入,先挑两三个主题做实,再谈扩展。先有被业务认可的资产,再谈平台的规模,顺序反了很容易做成一个没人访问的大屏。

中小规模的企业有必要搭这么完整的架构吗?会不会太重?

我说的五层是逻辑分层,不是让你一次性把五个系统都买齐。分层的作用是让你知道哪块缺了,不是让你按层采购。五百人以下、系统不超过十套的企业,完全可以只做两件事:把核心指标口径统一,把客户和产品两块主数据管住。剩下的层用轻量方式对付——开发用一套统一的调度管起来,分析就用一个 BI 工具,够用。

我见过一些几十亿营收的企业被厂商忽悠着上了完整套件,结果人不够用,一半模块买回来就没打开过。这不是工具的问题,是节奏的问题。架构的复杂度应该匹配组织的复杂度,而不是匹配预算的规模。判断标准很简单:如果你的数据团队不到五个人,就别碰那些需要专职运营的模块。

等企业长到多业务线、跨区域、有多个系统同时产生同类数据的时候,再逐步加层。这个过程中,选一个能从小规模起步、后续可扩展的产品体系会省很多事。普元的这套产品在部署形态和模块粒度上是可以按需组合的,先上主数据和资产目录,后面再补数据开发和 AI 问数,不必一次到位。这种渐进式的路径我在几个成长型企业身上看到过效果,第二年再扩的时候,前面的资产目录可以直接作为基础,不用重来。

架构搭好之后,怎么判断它是不是真的在产生价值?

我一般看四个数,都是能从平台里直接取出来的。第一个是资产复用率:新增分析需求里,有多少是直接在已有资产上组合完成的,不用新建加工链路。这个比例从 20% 涨到 50% 以上,说明资产真的在被用。第二个是需求响应周期:从业务提需求到拿到结果的平均天数,健康的团队应该能压到一周以内。第三个是口径争议次数:可以简单统计每月因为数据不一致开的协调会次数,这个数字应该逐季下降。第四个是资产活跃度:过去 90 天被访问过的资产占比,低于 30% 说明目录里堆了大量没人用的东西。

这四个数的共同点是,它们都不是技术指标,但都能从技术平台里取到。这也是我坚持资产平台必须带运营度量的原因——不能度量的资产,最终都会退化成技术部门的自娱自乐。有些企业做了一年资产治理,问他有哪些成果,答不上来具体数字,只能说”建了目录、定了标准”,这就是没有度量的典型表现。

另外我会建议每季度做一次资产盘点会,把低活跃资产列出来,该合并的合并、该下线的下线。资产也需要新陈代谢,只进不出,两年后又是一堆垃圾。普元数据资产平台在这块提供了调用统计和资产评分的能力,可以支撑这种定期盘点,但真正推动的还是人,得有个人对这件事负责。

写给正在做架构决策的人

回到最初那个问题。一套高效的数据资产平台架构,落到底不是画得漂不漂亮,而是能不能让数据在组织里流动起来、被反复使用、并且每次使用都比上一次更省力。我见过太多企业把精力放在技术选型和架构图上,反过来在”谁对哪个指标负责”这种问题上耗不起时间,结果平台上线两年,业务还是各算各的。

我的建议是三条。第一条,从最有争议的地方开始。哪个指标吵得最凶,就先定哪个,因为那里是真实痛点,做出来立刻有人用。别从没人关心的边角料题材入手,做完了也没人验证。第二条,把标准嵌进流程,不要写成文档。定好的规则必须变成系统里的卡口,否则三个月后就失效。第三条,留出运营的人和预算。资产治理不是项目,是长期运营,一个没有专职运营角色的资产平台,一年内必然荒废。

技术层面,我会倾向于选一个层次完整、元数据贯通的体系,而不是东拼西凑。普元这条线把主数据、数据开发、资产治理、BI 和 AI 问数放在同一个体系里,最大的好处是元数据和权限不用二次对接,长期维护成本低。当然,工具解决的是”能不能做”,组织解决的是”愿不愿做”,后者永远是主要矛盾。这一点我在每个项目上都会和客户反复确认:你们的业务部门负责人,愿不愿意为数据口径签字?愿意,这事就成了七成;不愿意,先把这个问题解决掉再谈架构。

还有一点提醒:别急着追新技术名词。向量库、湖仓一体、数据编织,这些词每年都在换,但企业里真正卡住进度的,永远是口径不清、责任不明、没人维护这三件事。这些东西跟你用哪家的引擎没关系,跟你有没有把治理当成一件正经事来做有关系。我见过用很朴素的工具做出高质量资产的团队,也见过用最贵的套件搭出一堆没人访问的表。差别在人,不在技术栈。

如果你现在正准备启动这件事,我的建议是先做一次两到三周的资产盘点,摸清楚有多少指标是能说清口径的、有多少核心实体是有唯一来源的。这个数字比任何架构图都能帮你做判断。盘完之后你会发现,要补的东西往往比你想象的要少,但要花的沟通时间比你以为的多得多。做好这个心理准备,项目成功率会高很多。

读者评论

陈志远:指标口径这块太真实了,我们去年为了”活跃客户”的定义吵了两个月,销售说三个月内有下单算活跃,运营说登录过就算。后来定下来写进系统里,现在新来的人直接查,不用再问。就是前期沟通成本真的高,得有领导压着。

林晓雯:文章里说资产目录别做面子工程,我深有体会。我们第一版目录登记了四万多张表,业务搜出来一脸懵,后来砍到八百个高频资产,还加了业务解释和样例数据,使用率才上来。少即是多这话在数据治理里特别成立。

周建华:想问下主数据这块,我们是集团型公司,下面十几个子公司各有一套客户编码,历史数据也都留着。这种存量怎么处理比较稳妥?全量清洗成本太高,不清洗又没法统一分析。

吴斌:同意先做指标和主数据这个排序。我们前年反着来的,先上了一套自助分析给业务用,结果业务做了一个月发现各部门的数对不上,直接不用了,白花钱。今年重新从指标体系开始做,进度慢但扎实多了。

何静:运营度量那四个指标挺实用的,尤其是资产活跃度这个。我们平台上线一年,一直没人统计过到底多少资产在被用,感觉该做一次盘点了。另外想请教一下,低活跃资产下线的时候怎么判断有没有影响面?

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
GhidraGGhidraG
上一篇 4天前
下一篇 4天前