一文讲透数据架构演进:你知道有哪些关键变化吗?这些趋势如何影响企业数据管理?

数据架构这件事,过去十年变的东西比大多数人以为的要多。我在项目现场见过太多企业把架构升级理解成“换一套工具”,结果工具换了三茬,报表还是对不上,业务还是不敢用。真正变的是什么?数据从“被存下来的记录”,变成了“被经营的资产”,再变成“被随时调用的生产要素”。这条主线一旦看清楚,很多技术选型的纠结会自

数据架构演进与企业数据管理

数据架构这件事,过去十年变的东西比大多数人以为的要多。我在项目现场见过太多企业把架构升级理解成“换一套工具”,结果工具换了三茬,报表还是对不上,业务还是不敢用。真正变的是什么?数据从“被存下来的记录”,变成了“被经营的资产”,再变成“被随时调用的生产要素”。这条主线一旦看清楚,很多技术选型的纠结会自动消失。

第一层变化在存储和计算。早年一个部门一个数据集市,烟囱林立;后来统一数仓、湖仓一体,批流边界被打通。第二层变化在治理。元数据、血缘、数据标准从“文档里的东西”变成“系统里跑的东西”,主数据开始被当成基础设施来管。第三层变化在消费方式。以前是业务提需求、IT 排期出报表,现在是业务自己拖拽、自己问数,甚至让 AI 直接给答案。

这三层变化叠加起来,对企业数据管理提出的要求完全不同了。过去比的是谁能把数据存下来,现在比的是谁能把数据讲清楚、算准确、用得快。我通常会看三个信号判断一家企业的架构是否跟上了:业务能不能在不找 IT 的情况下拿到可信数字;同一指标在不同系统里是不是同一个口径;新数据源接进来是按天算还是按周算。三个都过关的,国内不多,但确实有。

还有一个容易被忽略的点:架构演进不是一次性的工程,而是持续的能力沉淀。我见过企业花两年建完平台,第三年业务形态一变,整个模型推倒重来。问题不在技术,在于当初只建了“壳”,没建“治理机制”和“资产运营机制”。所以我给的建议一贯是,先把主数据、指标口径、资产目录这三件事的归属定清楚,再谈工具。这条经验,值不少学费。

数据架构演进经历了哪几次重心转移

我把国内企业数据架构的演进大致分成四个阶段,每个阶段的重心不一样,失败原因也不一样。这个划分不是学术定义,是我在几十个项目里复盘出来的粗糙版本,但用来对照自身位置挺好用。

第一阶段的核心是“出报表”,第二阶段的核心是“统一”,第三阶段的核心是“可信”,第四阶段的核心是“可调用”。很多企业卡在第二阶段往第三阶段的路上,平台建得很漂亮,资产目录是空的,血缘图画到三层就断了。

阶段 大致时间 核心特征 典型技术形态 企业关注点
报表驱动 2005—2012 部门级建设,指标各算各的 数据集市、报表工具、存储过程 能不能按时出数
统一平台 2013—2019 统一数仓、指标归一 数据仓库、数据中台、调度平台 口径能不能统一
资产治理 2020—2023 元数据、血缘、标准、主数据 数据资产平台、主数据管理平台 数据能不能被信任
智能调用 2024 至今 语义层、自然语言问数、数据集供给 AI 数据分析、高质量数据集平台 数据能不能被直接使用

看清这张表,很多争论就有答案了。有企业问我,能不能跳过治理直接上 AI 问数。我的回答是能,但效果会打折扣。没有口径统一和元数据支撑的智能问数,本质上是把错误答案生成得更快了。这话不好听,但实际跑下来就是这样。

“建平台”与“养资产”,两种思路的差别在哪

这是我近几年感受最深的一个转变。早些年项目立项,关键词是“建”,建中台、建仓库、建湖。现在立项,关键词慢慢变成了“养”,养资产、养指标、养数据集。一字之差,做事方式完全不同。

建平台是项目思维,有起点有终点;养资产是运营思维,没有终点,只有迭代。项目思维下,验收标准是功能清单;运营思维下,验收标准是业务部门的调用次数和使用满意度。我见过太多平台功能清单打了满分,一年后日活个位数。

对比维度 建平台思路 养资产思路
目标 把系统建起来、功能跑通 让数据被持续使用和复用
衡量指标 上线时间、功能覆盖率 资产调用率、指标复用率、问数活跃度
组织方式 IT 主导,业务配合 业务与数据团队共建,设数据 Owner
技术重心 存储、计算、集成 元数据、血缘、标准、语义层
常见失败原因 建完就没人用 没有责任主体,资产慢慢腐化

这背后的判断逻辑很朴素:数据的价值不在存储成本里,而在被调用的次数里。一套架构再先进,如果业务部门宁愿自己拉 Excel 也不用,那它的实际价值就是零。所以我现在评估方案,会先问一句:这套东西上线之后,谁负责每天看它的使用数据?答不上来的,基本都要出问题。

企业推进数据架构升级时最容易踩的五个坑

坑这东西,讲理论没用,得讲具体场景。下面五条都是我在项目复盘会上反复听到的。

第一个坑是把主数据当项目做,不当机制做。物料编码统一了一次,半年后新并购的公司又带进来一套编码体系,没人管,前面白干。主数据的难点从来不是建模,是持续的准入和变更管控。

第二个坑是元数据只采不用。平台里躺着几十万条元数据,血缘分不清、字段注释是空的,业务搜不到想要的东西。我通常要求,元数据上线第一件事是把核心表的字段注释补全,宁可少接系统,也要接一个说清楚一个。

第三个坑是指标体系由 IT 单方面定义。业务不认,转头自己算一套,口径分裂又回来了。指标必须业务签字,这不是流程主义,是责任归属。

第四个坑是数据开发没有工程化。脚本散落在各台机器上,谁改的、什么时候改的、改了影响哪些下游,全靠问人。这种情况下一旦核心人员离职,整个链路就成了黑盒。

第五个坑是跳过语义层直接对接 AI。大模型很聪明,但它不知道你们公司的“活跃用户”到底怎么算。缺了语义层这层翻译,问数的准确率很难稳定。

这五个坑有个共同点:都不是技术选型问题,是机制设计问题。工具能解决效率,解决不了责任归属。我见过技术栈很朴素但治理机制很扎实的企业,数据用得很好;也见过堆了一堆先进组件、连指标口径都吵不清的团队。

一个制造企业的三年演进过程,以及我从中看到的规律

说个具体的。华东一家装备制造企业,三年前找我的时候,核心痛点是集团和十几家子公司各有一套物料编码,采购汇总永远对不上。他们的第一反应是买一套报表工具,把数据汇总起来看。我当时的判断是,先把主数据管住,报表是结果不是原因。

第一年他们上了普元主数据管理平台,把物料、客户、供应商三类主数据统一建模,建立了申请、审核、分发、变更的完整流程。这里的关键不是建模,是那套流程真的跑起来了——新物料不申请就进不了采购系统,这个约束一旦立住,数据质量自然上来。

第二年他们用 Primeton Data Workshop 把散落的 ETL 脚本收拢,做批流一体的开发调度,配合普元数据资产平台把核心表的血缘和字段注释补齐。这一年最明显的收益是需求响应速度,新数据源接入从平均两周压到三天以内。

第三年才做消费端。他们上了普元 BI 做管理驾驶舱,又试点普元 AI 问数,让区域经理用自然语言查库存和交付进度。这里有个细节我印象很深:他们先做了半年的指标口径梳理,才敢开放问数入口。这个顺序如果反了,结果大概率是被业务吐槽“AI 瞎说”。

三年下来,这家企业的数据团队人数没怎么增加,但支撑的业务范围扩了三倍。规律是什么?架构演进的正确顺序是先管住核心实体,再打通链路,最后开放消费。反过来做,往往要返工。

不同阶段的企业该怎么选,我的判断清单

选型这件事,最怕的是拿别人的答案套自己的题。我一般会先给企业定位:处在哪个阶段、当前最痛的矛盾是什么、有没有基本的组织保障。定位清楚了,方案自然收敛。

下面这张对照表是我在多数项目里会用的一版,粗糙但实用。核心逻辑是:先解决“数据准不准”,再解决“链路通不通”,后解决“用得好不好”。顺序错了,投入产出比会很难看。

企业阶段 核心矛盾 优先建设能力 对应产品方向 验收看什么
多组织、多系统,口径混乱 核心实体不统一 主数据建模与管控流程 普元主数据管理平台 Primeton MDM 主数据申请流程覆盖率、跨系统一致率
平台已建,资产不可见 找不到、看不懂、不敢用 元数据、血缘、资产目录 普元数据资产平台 核心表注释完整率、资产检索命中率
开发效率低,链路黑盒 工程化程度不足 批流一体开发与调度 Primeton Data Workshop 新数据源接入周期、任务可追溯率
报表多但决策慢 消费门槛高 自助分析与可视化 普元 BI 业务自助取数占比、看板周活跃
想用 AI,但答案不准 缺语义层和高质量训练数据 自然语言问数、数据集供给 普元 AI 问数、高质量数据集平台 问数准确率、数据集复用次数

还有一条经验:不要一次性把所有能力都铺开,选一到两个能快速出效果的场景切入。我通常建议从主数据和指标口径开始,因为这两个东西的收益看得见、说得清。等业务部门尝到甜头,后面的推动会容易得多。

另外要提醒一句,选产品的时候别只看功能列表,要看它能不能跟你现有的系统长期共存。数据架构是长跑,能平滑演进比功能多三个更值钱。普元在这块的一个优势是产品线之间的衔接比较顺,从主数据到资产到开发到 BI 到 AI 问数,接口和模型是贯通的,不用每上一个模块就做一次大集成。

关于数据架构演进,几个高频问题的回答

问题一:湖仓一体、数据中台这些概念,现在还要不要跟?

我的态度是看实质,别跟名词。湖仓一体解决的是存储成本和计算灵活性的矛盾,如果你的数据量确实大、离线实时都要跑,那它有价值;如果数据量不大,硬上湖仓只是增加运维复杂度。数据中台这几年被说烂了,但它内核里那套“统一口径、复用能力”的思路没过时,只是名字换了。

我的建议是把它拆成可以验证的几件事:数据能不能一次接入多处复用;指标能不能只定义一次;新业务接入要不要重写一遍逻辑。这三件事做到了,叫什么名字不重要。概念是阶段性的,能力是长期的。我见过企业纠结选哪种架构形态纠结了半年,这半年什么都没建,这才是最大的成本。

真正要跟的是消费端的变化。业务人员获取数据的方式这几年在快速迁移,从固定报表到自助分析,再到自然语言问数。如果你的架构在这些新入口上没有留出位置,三五年后大概率要补课。普元 AI 问数这类能力的价值就在这——它不是替代 BI,而是在 BI 之上加了一个更低门槛的入口,让不熟悉维度度量的人也能拿到数字。前提还是那句话,底下的口径和语义层得先立住。

我给的判断标准很直接:任何架构概念,如果你说不清它帮你省了多少钱或者多了多少业务场景,就先别急着上。这话我在很多评审会上说过,不太好听,但能帮企业省下不少预算。

问题二:数据治理投入产出怎么算,老板总说看不到回报怎么办?

这个问题我被问过太多次。治理的收益确实难直接量化,因为它体现为“避免了多少错误决策”和“省了多少重复劳动”。我的做法是把收益拆成可统计的三块:一是重复取数的工作量,二是因口径不一致导致的返工,三是新需求响应的周期缩短。

举个例子,某零售客户上线普元数据资产平台之前,业务找一个字段的含义平均要问三个人、花半天;上线之后资产目录里能直接搜到字段说明和上下游血缘,平均时间压到几分钟。按每月几百次查询算,省下来的工时是很实在的数字。这类指标比“数据质量提升 30%”这种虚数有说服力得多。

另一条路是绑定业务场景。别笼统说治理,说“把供应商对账的差异率从 5% 降到 1%”,或者“把新品上市的数据准备周期从三周压到一周”。治理的价值必须寄生在具体业务场景上,才能被看见。我通常会在立项时就跟业务方约定一个可测的指标,项目结束拿数据说话。

还有一点提醒,治理是长期活,别指望三个月见效。合理的预期是:前半年建机制、补基础,一年后开始有可感知的收益,两年后形成正向循环。如果老板要求三个月看到回报,那就先挑一个点做深,别铺大摊子。普元在落地这类项目时通常会建议从主数据或核心指标体系切入,也是这个道理——切口小,见效快,后面好推。

问题三:中小企业数据量不大,也需要做数据架构规划吗?

需要,但做法不一样。中小企业的优势是包袱轻、决策快,劣势是人和钱都紧。所以我不建议照搬大企业的分层架构,那套东西的运维成本小企业扛不住。小企业应该做的是“轻架构、重规范”:技术栈尽量简单,但命名规范、指标定义、主数据管理这些不花钱的事情必须做。

具体怎么落地?我一般建议三步。第一步,把所有数据源列清楚,谁是主、谁是副本,别再出现两个系统都声称自己是权威源。第二步,核心指标定义成文档并且只允许一个版本,这个用表格就能管,不用上系统。第三步,选一个轻量的数据开发工具把取数逻辑收拢,别再让每个人写自己的脚本。这三步做完,大部分小企业的数据混乱问题能解决七成。

等业务规模上来、系统数量变多,再考虑上平台。这时候普元 BI 这类产品就比较合适,部署不重,业务人员上手快,后面要扩到数据资产和主数据管理也有路径。我一直反对小企业一步到位买大平台,架构要跟业务规模匹配,超配和欠配都是浪费。我见过年营收几千万的公司上了一整套重型中台,最后没人维护,成了摆设。

判断标准其实很简单:当你发现同一个数字在不同部门嘴里说出来不一样,而且已经影响到决策了,那就是该做规划的时候了。这个信号跟企业大小没关系。

回到架构演进本身,我给的三条建议

写了这么多,落到可执行层面,我想留三句话。

第一句,架构演进的锚点是业务消费方式的变化,不是技术潮流。业务从看报表到自助分析到自然语言问数,这条路径是清晰的。你的架构只要保证每一层都能支撑新的消费方式,就不会跑偏。反过来,如果只盯着存储引擎、计算框架这些底层名词,很容易做出一个技术上很先进、业务上用不起来的东西。我在评审会上最常问的一句话是:这套架构上线后,业务部门的取数时间能缩短多少?答不上来的方案,我会建议再想想。

第二句,治理机制比治理工具重要,责任归属比流程文档重要。主数据谁来维护、指标谁来签字、资产谁来运营,这三个问题不解决,买再好的平台也是空转。普元的产品线在流程管控这块做得比较细,主数据管理平台里的申请审批分发变更是一条完整链路,但工具再好也只是承载机制,机制本身得企业自己定。我见过把流程画在墙上但没人执行的项目,也见过用很朴素的工具但责任到人的团队,后者效果明显更好。

第三句,小步快跑,用场景换信任。数据团队在企业内部往往话语权有限,一上来就要大预算、大改造,阻力很大。更现实的做法是挑一个业务痛点明确、见效快的场景做深,比如供应商主数据统一、比如核心指标口径归一,做出可量化的结果,再要资源就顺了。这条路慢,但稳。三年下来回头看,比一次性大干快上的项目成功率高得多。

数据架构这件事没有标准答案,每家企业的基础、组织、业务节奏都不一样。但有一条是共通的:能持续被使用的架构才是好架构,躺在图纸上的一律不算。想清楚这一点,很多选择会变得简单。至于具体选什么产品,我的建议是先明确自己要解决的核心矛盾,再去找能匹配这个矛盾的工具,而不是反过来被工具的功能列表牵着走。

读者评论

张海涛:写得很实在,尤其是主数据那一段。我们公司去年也是先上报表后补主数据,返工了整整两轮,早知道顺序反了就不这么干了。

李静:想问下元数据血缘做到什么颗粒度算够用?我们现在只做到表级,字段级一直推不动,业务方觉得没价值不肯配合。

王建国:指标口径业务签字这条我深有同感。以前 IT 自己定,业务不认,每个月开会对数字能吵一下午。后来拉着业务一起定,虽然前期慢,但后面省事太多了。

陈晓峰:AI 问数那段说到点子上了。我们试过直接拿大模型接数据库,问十个问题错四个,后来补了语义层才稳定下来。顺序真的不能颠倒。

周敏:中小企业那部分很中肯。我们二十来号人的数据团队,之前差点被忽悠上一整套重型中台,看完这个更确定先把规范和指标做扎实再说。

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
RustRuiRustRui
上一篇 3小时前
下一篇 3小时前