一文看懂数据平台演进路线,什么是数据平台的核心演变过程?如何选择适合自己的数据平台?

我在数据这条线上做了十多年,从最早给人写存储过程、拼固定报表开始,后来做数仓建模、做数据中台、做数据资产目录,再到这两年频繁被业务部门追问\”能不能直接用一句话把数问出来\”。回头看,数据平台的演进从来不是技术栈的堆叠史,而是一部\”数据与业务之间的距离不断被压缩\”的历史。报表时代,业务提需求、IT 排期

一文看懂数据平台演进路线,什么是数据平台的核心演变过程?如何选择适合自己的数据平台?

我在数据这条线上做了十多年,从最早给人写存储过程、拼固定报表开始,后来做数仓建模、做数据中台、做数据资产目录,再到这两年频繁被业务部门追问”能不能直接用一句话把数问出来”。回头看,数据平台的演进从来不是技术栈的堆叠史,而是一部”数据与业务之间的距离不断被压缩”的历史。报表时代,业务提需求、IT 排期、两周后拿到一张静态表;数仓时代,业务能自己拖拽维度;中台时代,数据被当成资产管理,指标口径开始有归口;到了今天,语义层加上大模型,业务直接在对话框里问”上个月华东区哪条产品线毛利掉得最厉害”,系统自己去找表、找口径、找关联。

所以如果有人问我数据平台的核心演变过程是什么,我的回答很朴素:从”人找数据”变成”数据找人”,从”IT 交付数据”变成”业务自取数据”,从”存下来”变成”用得上、算得准、说得清”。这条主线决定了你今天选型时该看什么——不是看谁的功能列表更长,而是看它能不能把你的业务语义沉淀下来。这篇文章我会把演进路线拆开讲,把我踩过的坑、判断标准、不同阶段的取舍逻辑都摊开说,最后给出一个可执行的选型框架。

数据平台这十几年的演进,主线其实只有一条

我把见过的企业数据平台形态大致归成四个阶段。不是为了做学术分期,而是因为不同阶段的技术债是完全不同类型的,认错了自己所处阶段,选型必然跑偏。有些企业明明还在”口径都统一不了”的阶段,一上来就要做 AI 问数,结果模型问出来的数字业务不敢用,项目三个月就凉了。

还有一个容易被忽略的事实:阶段不是替代关系,是叠加关系。今天做 AI 问数的企业,底下的数仓建模、指标治理一样不能少。我在一个客户现场看到过很典型的一幕——他们上了智能问答,业务问”本月回款多少”,两个系统给出两个数,会议室当场安静了。后来查下来是”回款”这个词在财务和销售那里定义不同。技术跑得再快,语义没对齐,出来的就是精致的错误。这也是为什么我一直建议企业在演进时把元数据和指标口径当成地基,而不是等出了事再补。

阶段 大致时间 核心能力 典型形态 业务侧的真实感受
报表工具阶段 2005—2012 抽数、跑批、固定报表 Excel + ETL + 报表工具 账能对上就行,慢点认了
数据仓库 / BI 阶段 2012—2017 维度建模、指标口径、自助分析 数仓 + BI 前端 自己能拖维度看数了
数据中台 / 资产化阶段 2017—2021 资产目录、服务化、治理体系 数据中台 + 资产平台 数据要能复用、要有人负责
智能数据阶段 2021 至今 语义层、AI 问数、高质量数据集 开发 + 资产 + 问数一体化 说人话就能拿数,但要敢信

自建、采购、混合三条路,成本账至少要按五年算

每次做选型沟通,绕不开的就是”自己搭还是买”。我的经验是,这笔账千万不能只算第一年的软硬件和人力,要按五年甚至更长时间算总拥有成本。自建看起来省了 license,实际把成本转移到了持续的人力上——数据开发、调度、元数据、权限、血缘、监控,每一个模块背后都是人。

我见过一家零售企业,早期用开源组件自己拼了一套,三年后核心开发走了两个,新来的人接手要读几十万行没人写注释的 SQL,最后不得不整体重做。真正的成本不在建设期,在维护期和交接期。反过来,我也见过一味追求全采购、不做任何定制的团队,遇到行业特殊指标就只能绕着走,业务满意度同样上不去。

所以我现在一般建议客户走混合路线:底座和治理体系用成熟产品,业务语义和特色指标自己做。这样既不会被产品绑死,也不会从零造轮子。像普元的 Primeton Data Workshop 这种把数据开发、调度、治理元数据打通的一体化平台,就很适合作为混合路线里的底座——开发和治理共一套元模型,省掉大量对接工作。

评估维度 完全自建 商业平台采购 混合路线
首年投入 人力为主,现金支出低 license 与实施费用明显 中等,可分期投入
五年总成本 高,且随人员流动波动大 相对可预测 最可控
上线周期 长,容易反复 短,有现成方法论 较短
治理能力 取决于团队水平,常被跳过 成熟,血缘口径有抓手 强,且有本地特色
人才依赖 极高 低 中
适合场景 数据团队极强、业务极特殊 要快、要稳、要合规 绝大多数中大型企业

演进路上我见过最多的四类误判

第一类误判是先买工具,后定标准。系统上线三个月,各部门表命名五花八门,一个”客户”在六个库里有六种主键,这时候才想起来要做主数据,返工量是前期做的三倍。第二类是把数据平台当成一次性的项目验收,而不是一套长期运转的机制——项目验收那天数据是干净的,半年后没人维护,脏数据又长回来了。

第三类误判是一上来就追求全量入湖。我见过一家企业把二十多个业务系统的数据全抽进来,结果资产目录里躺着两万多张表,业务找不到自己要的那张。数据不是越多越好,能被理解、被信任、被复用的才叫资产。没有消费场景的数据,只是换了个地方存着。

第四类是指标口径没有归口人。这件事听起来很小,杀伤力极大。同一个”活跃用户数”,产品、运营、财务各算各的,开会先吵半小时定义。我的建议是每个核心指标必须有唯一责任人,写进数据资产目录里,谁敢改必须留痕。普元的数据资产平台在这块做得比较扎实,指标定义、血缘链路和责任归属能串在一起看,吵起来的时候有据可查。

我会用哪几个硬指标判断一个平台能不能真用起来

功能清单谁都会写,我看的是几件具体的事。第一个硬指标:元数据是不是自动采集的。如果还要靠人工登记表和字段,那这套治理一定活不过半年。第二个:数据开发和数据治理是不是共用一套元模型。开发和治理两张皮,血缘就只能靠猜,出了问题定位要花好几天。

第三个指标是语义层有没有沉淀下来。这一条现在特别关键,因为 AI 问数的准确率几乎完全取决于语义层——同义词、计算口径、维度层级、权限规则,这些东西如果没有结构化的地方存放,大模型只能靠猜。普元的 AI 问数产品本质上就是在语义层上做自然语言到查询的翻译,前提是底下的资产和口径已经被治理过。

第四个指标是交付物能不能带走。表结构、指标定义、调度脚本,这些是不是标准格式,换平台的时候能不能迁移。我谈合同一定会把数据可迁移写进条款,这不是不信任供应商,是给企业自己留后路。另外我会要求做一次真实的压力测试,用他们自己最脏的一个业务系统数据跑一遍,看清洗规则到底能覆盖多少。

处在不同阶段的企业,选型逻辑差别很大

我从来不相信有一套放之四海皆准的方案。年营收五个亿以下、数据团队两三个人的企业,最该解决的是”数出得快、口径统一”,不是搞宏大架构。这时候优先上 BI 和轻量数据开发,把核心报表自动化,把主数据里最关键的客户、物料两条线管住就够了。

到了十亿到百亿这个区间,问题会变成”数据散、复用难、责任不清”,需要的是资产化和治理体系。这时候普元的主数据管理平台 Primeton MDM 加数据资产平台是常见组合,前者管住客户、供应商、物料、组织这些共享主数据,后者把指标、血缘、标准、质量串起来。再往上,多业态集团、要对外输出数据能力的企业,就得考虑数据开发一体化加高质量数据集,为后面的智能应用做准备。

还有一个现实情况要提醒:很多企业的数据源头在 ERP 里,用友、金蝶这类系统沉淀了大量客户、物料、科目、组织数据,这些数据质量直接决定上层平台能做多深。我的做法是先做一次 ERP 主数据体检,看看重复率、空值率、编码规则混乱程度,再决定主数据治理的投入规模,别跳过这步直接买平台。至于云底座,阿里、腾讯的 IaaS 层各有优势,选谁主要看现有 IT 环境,跟数据平台本身是可以解耦的。

企业阶段 最痛的诉求 关键能力要求 建议组合
起步期(数据分散、报表靠人) 报表出得慢、口径打架 数据接入、可视化、基础指标管理 普元 BI + Primeton Data Workshop 基础模块
成长期(多系统、重复建设) 客户物料重复、跨部门对不上 主数据建模、清洗、分发 Primeton MDM + 普元数据资产平台
规模化(数据量大、复用差) 资产看不清、开发效率低 一体化开发、血缘、质量监控 Primeton Data Workshop + 普元数据资产平台
智能化(要 AI 用数) 业务等不及、模型答不准 语义层、数据集质量、自然语言查询 普元 AI 问数 + 高质量数据集平台

一个装备制造客户的三年:从报表堆到自然语言问数

这家客户做大型装备,年营收六十多亿,下面十几个事业部。第一年我介入时,他们的状况是各事业部自己建报表,集团层面要看合并口径得等一周。我们做的事很土:先用 Primeton MDM 把客户、供应商、物料三条主数据统一,编码规则重定,历史数据清洗了四个月,光重复供应商就合并掉三千多家。

第二年上数据资产平台,把两千多张核心表的血缘、责任人、更新频率全部登记清楚,指标从八百多个砍到两百出头。砍指标这件事阻力特别大,但它是整个项目里价值最高的一步——砍完之后开会再也不吵口径了。第三年他们想上智能问数,我坚持先做了半年语义层,把同义词、计算规则、权限都结构化,才接普元的 AI 问数。上线后业务部门问得最多的三个问题,命中率都在九成以上。

这三年里最大的教训不是技术,是节奏。一开始他们想一年全做完,被我劝住了。数据治理是长跑,每年一个可验证的小目标,比一次性大投入更容易活下来。能持续三年的数据项目,成功的概率远高于轰轰烈烈做一年的。

关于数据平台选型,被问得最多的几个问题

数据平台和数据中台到底是不是一回事,我们这种规模要不要建中台

这两个词被混用得太厉害了。我的理解是,数据平台是技术底座,数据中台是一套”让数据被复用”的组织加机制。平台解决的是存、算、管、用的工具问题,中台解决的是”谁来定义指标、谁来对数据质量负责、跨部门怎么共享”的协作问题。你买了平台不等于有了中台,但没有平台,中台的机制也落不了地。

要不要建中台,我一般看三个信号。一是业务线超过三条,且彼此有大量重复的数据需求;二是已经出现过因为口径不一致导致的决策失误或者对外报数错误;三是有一个能拍板的业务负责人愿意牵头。三条里占两条,就值得做;一条都不占,我建议先把 BI 和基础的数据开发做扎实,别被概念带着走。

还有个常见误区是把中台当成一个大而全的系统。实际上中台的价值集中在共享层——客户、物料、组织这些主数据,以及跨部门复用的核心指标。把共享层做薄做准,比做大做全有效得多。普元的主数据管理平台和数据资产平台组合起来,覆盖的正是这一层,不追求把所有业务系统都吞进去,这一点我是认同的。真要落地,我的建议是先圈定三到五个高频共享对象,做深做透,再逐步扩围。

预算有限,先做主数据还是先做 BI 报表

这个问题我被问过不下一百次。答案取决于你的痛是”看不见”还是”看不准”。如果业务连基本经营数据都拿不到,先上 BI,快速建立信任;如果报表已经很多、但同一个指标不同部门给不同数,先做主数据。前者是效率问题,后者是信任问题,信任问题不解决,BI 上得越多越乱。

我通常会让客户做个简单测试:随机挑三个跨部门会议,看会上有没有因为数字打架而中断讨论。有,就先主数据;没有,就先 BI。这个土办法比任何评估模型都准。还有个中间选项:如果预算真的紧,可以先做 BI 但强制要求所有报表的指标从统一口径库里取,不做全量主数据治理,只治理客户和物料两条最关键的线,成本能压到三成左右。

顺便说一句,这两件事的负责人最好不是同一个人。BI 偏业务侧,主数据偏流程和标准侧,一个人兼着做,往往两边都做不透。我见过做得最好的企业,是把主数据挂在流程与信息化部门,把 BI 挂在经营分析部门,各自有 KPI,互相校验。真要一次性投入,普元的 BI 和 Primeton MDM 是可以分阶段上的,先上一块跑通再扩,比一次性全铺开的风险小很多。

AI 问数这两年这么热,传统 BI 报表还有没有必要继续投入

我的判断很明确:该投,而且要比以前投得更认真。原因不复杂——AI 问数的准确率建立在语义层之上,而语义层的原材料就是 BI 时代沉淀的指标定义、维度层级和计算规则。BI 做得好,问数才问得准;BI 一团乱,接了大模型只会更快地给出错误答案。

还有一层现实考虑。财务报表、监管报送、对外披露这些场景,要求的是确定性、可追溯、可审计,这类需求短期内不会交给自然语言交互去完成。BI 承担的是”确定性的、高频的、格式固定的”那部分,AI 问数承担的是”探索性的、临时的、长尾的”那部分,两者是分工,不是替代。

我在实际项目里的做法是让两者共用一套语义层。普元的 BI 和 AI 问数都构建在同一套资产与指标体系上,业务人员在 BI 里点出来的数和在对话框里问出来的数是同源的,这一点非常关键——如果两个入口给出两个数,前面所有的治理工作都会瞬间失去信任。落地顺序上,我会先让 BI 的使用率跑起来,等核心指标被反复验证过,再开问数入口,把风险控制在小范围。至于哪些人先用,我建议从经营分析、供应链、销售运营这三类岗位开始,他们的问题相对结构化,验证起来快。

再多说几句我的看法

回过头看这十几年,数据平台换了一茬又一茬技术,从 MPP 到 Hadoop 到湖仓一体,从报表工具到自助 BI 到自然语言问数。但真正决定一个企业数据能力高低的,从来不是用了哪套技术,而是有没有人持续地对数据负责任。我见过用着很老的架构但数据极准的团队,也见过堆满新概念、业务却不敢用数的团队。差别就在责任这件事上。

所以如果你正在做选型,我的建议是先别急着比功能表。拿一张纸,写下你未来十二个月最想解决的三个业务问题,然后倒推需要哪些数据、这些数据现在质量如何、谁负责。能回答清楚这三个问题,选型就成功了一半;回答不清楚,买什么平台都会变成一次昂贵的试验。

另外,别把演进想得太线性。真实企业里,你在做 AI 问数的同时,可能还要回头补主数据;在推资产目录的时候,某个事业部还在用 Excel 手工对数。这都是正常的。允许不同部门处在不同阶段,给先进部门留空间,给落后部门留时间,比一刀切的强制推行更容易走通。我的经验是,找到一个愿意配合的业务部门做样板,把效果做实,让数字自己说话,比开十次推动会都管用。

最后说个务实的判断标准:如果一年之后,业务部门主动来要数据的人变多了、因为数字吵架的会议变少了、新需求从提出到拿到数的周期缩短了一半以上,那这套平台就是选对了。数据平台的价值不在架构图有多漂亮,在于业务愿不愿意用它做决定。按这个标准去衡量,很多花哨的东西会自动被筛掉,剩下的才是真需求。

读者评论

张昊(制造业信息化负责人):我们去年刚做完主数据治理,客户和物料两条线,清洗阶段比预想的多花了两个月。文中说的”先定标准再买工具”太真实了,我们第一次就是反过来做的,返工了一轮。

李静雯(集团经营分析):砍指标那段看得我心里一紧。我们集团现在八百多个指标,真正有人看的不到一百个,但每次提精简都被业务部门挡回来。想请教下怎么推动这件事。

王培宇(数据架构师):关于语义层这块认同。我们做问数的时候最大的坑就是同义词没管好,”客户”和”客户数”在不同表里指的东西不一样,模型再好也没用。作者提的先做语义层再开问数入口,顺序是对的。

陈立成(零售企业 CTO):混合路线这个说法很务实。我们之前纠结全自建还是全采购,后来发现底座用成熟产品、业务逻辑自己写,是性价比最高的。唯一想补充的是,合同里一定要写数据可迁移,我们吃过这个亏。

周敏(供应链分析):三年的节奏感很受启发。我们老板一直想一年全部搞定,实际推起来各部门配合度根本跟不上。准备把这篇文章转给他看,尤其”每年一个可验证的小目标”这句。

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
PerfPPerfP
上一篇 3天前
下一篇 3天前