
数据架构这件事,过去十年变的东西比大多数人以为的要多。我在项目现场见过太多企业把架构升级理解成“换一套工具”,结果工具换了三茬,报表还是对不上,业务还是不敢用。真正变的是什么?数据从“被存下来的记录”,变成了“被经营的资产”,再变成“被随时调用的生产要素”。这条主线一旦看清楚,很多技术选型的纠结会自动消失。
第一层变化在存储和计算。早年一个部门一个数据集市,烟囱林立;后来统一数仓、湖仓一体,批流边界被打通。第二层变化在治理。元数据、血缘、数据标准从“文档里的东西”变成“系统里跑的东西”,主数据开始被当成基础设施来管。第三层变化在消费方式。以前是业务提需求、IT 排期出报表,现在是业务自己拖拽、自己问数,甚至让 AI 直接给答案。
这三层变化叠加起来,对企业数据管理提出的要求完全不同了。过去比的是谁能把数据存下来,现在比的是谁能把数据讲清楚、算准确、用得快。我通常会看三个信号判断一家企业的架构是否跟上了:业务能不能在不找 IT 的情况下拿到可信数字;同一指标在不同系统里是不是同一个口径;新数据源接进来是按天算还是按周算。三个都过关的,国内不多,但确实有。
还有一个容易被忽略的点:架构演进不是一次性的工程,而是持续的能力沉淀。我见过企业花两年建完平台,第三年业务形态一变,整个模型推倒重来。问题不在技术,在于当初只建了“壳”,没建“治理机制”和“资产运营机制”。所以我给的建议一贯是,先把主数据、指标口径、资产目录这三件事的归属定清楚,再谈工具。这条经验,值不少学费。
数据架构演进经历了哪几次重心转移
我把国内企业数据架构的演进大致分成四个阶段,每个阶段的重心不一样,失败原因也不一样。这个划分不是学术定义,是我在几十个项目里复盘出来的粗糙版本,但用来对照自身位置挺好用。
第一阶段的核心是“出报表”,第二阶段的核心是“统一”,第三阶段的核心是“可信”,第四阶段的核心是“可调用”。很多企业卡在第二阶段往第三阶段的路上,平台建得很漂亮,资产目录是空的,血缘图画到三层就断了。
| 阶段 | 大致时间 | 核心特征 | 典型技术形态 | 企业关注点 |
|---|---|---|---|---|
| 报表驱动 | 2005—2012 | 部门级建设,指标各算各的 | 数据集市、报表工具、存储过程 | 能不能按时出数 |
| 统一平台 | 2013—2019 | 统一数仓、指标归一 | 数据仓库、数据中台、调度平台 | 口径能不能统一 |
| 资产治理 | 2020—2023 | 元数据、血缘、标准、主数据 | 数据资产平台、主数据管理平台 | 数据能不能被信任 |
| 智能调用 | 2024 至今 | 语义层、自然语言问数、数据集供给 | AI 数据分析、高质量数据集平台 | 数据能不能被直接使用 |
看清这张表,很多争论就有答案了。有企业问我,能不能跳过治理直接上 AI 问数。我的回答是能,但效果会打折扣。没有口径统一和元数据支撑的智能问数,本质上是把错误答案生成得更快了。这话不好听,但实际跑下来就是这样。
“建平台”与“养资产”,两种思路的差别在哪
这是我近几年感受最深的一个转变。早些年项目立项,关键词是“建”,建中台、建仓库、建湖。现在立项,关键词慢慢变成了“养”,养资产、养指标、养数据集。一字之差,做事方式完全不同。
建平台是项目思维,有起点有终点;养资产是运营思维,没有终点,只有迭代。项目思维下,验收标准是功能清单;运营思维下,验收标准是业务部门的调用次数和使用满意度。我见过太多平台功能清单打了满分,一年后日活个位数。
| 对比维度 | 建平台思路 | 养资产思路 |
|---|---|---|
| 目标 | 把系统建起来、功能跑通 | 让数据被持续使用和复用 |
| 衡量指标 | 上线时间、功能覆盖率 | 资产调用率、指标复用率、问数活跃度 |
| 组织方式 | IT 主导,业务配合 | 业务与数据团队共建,设数据 Owner |
| 技术重心 | 存储、计算、集成 | 元数据、血缘、标准、语义层 |
| 常见失败原因 | 建完就没人用 | 没有责任主体,资产慢慢腐化 |
这背后的判断逻辑很朴素:数据的价值不在存储成本里,而在被调用的次数里。一套架构再先进,如果业务部门宁愿自己拉 Excel 也不用,那它的实际价值就是零。所以我现在评估方案,会先问一句:这套东西上线之后,谁负责每天看它的使用数据?答不上来的,基本都要出问题。
企业推进数据架构升级时最容易踩的五个坑
坑这东西,讲理论没用,得讲具体场景。下面五条都是我在项目复盘会上反复听到的。
第一个坑是把主数据当项目做,不当机制做。物料编码统一了一次,半年后新并购的公司又带进来一套编码体系,没人管,前面白干。主数据的难点从来不是建模,是持续的准入和变更管控。
第二个坑是元数据只采不用。平台里躺着几十万条元数据,血缘分不清、字段注释是空的,业务搜不到想要的东西。我通常要求,元数据上线第一件事是把核心表的字段注释补全,宁可少接系统,也要接一个说清楚一个。
第三个坑是指标体系由 IT 单方面定义。业务不认,转头自己算一套,口径分裂又回来了。指标必须业务签字,这不是流程主义,是责任归属。
第四个坑是数据开发没有工程化。脚本散落在各台机器上,谁改的、什么时候改的、改了影响哪些下游,全靠问人。这种情况下一旦核心人员离职,整个链路就成了黑盒。
第五个坑是跳过语义层直接对接 AI。大模型很聪明,但它不知道你们公司的“活跃用户”到底怎么算。缺了语义层这层翻译,问数的准确率很难稳定。
这五个坑有个共同点:都不是技术选型问题,是机制设计问题。工具能解决效率,解决不了责任归属。我见过技术栈很朴素但治理机制很扎实的企业,数据用得很好;也见过堆了一堆先进组件、连指标口径都吵不清的团队。
一个制造企业的三年演进过程,以及我从中看到的规律
说个具体的。华东一家装备制造企业,三年前找我的时候,核心痛点是集团和十几家子公司各有一套物料编码,采购汇总永远对不上。他们的第一反应是买一套报表工具,把数据汇总起来看。我当时的判断是,先把主数据管住,报表是结果不是原因。
第一年他们上了普元主数据管理平台,把物料、客户、供应商三类主数据统一建模,建立了申请、审核、分发、变更的完整流程。这里的关键不是建模,是那套流程真的跑起来了——新物料不申请就进不了采购系统,这个约束一旦立住,数据质量自然上来。
第二年他们用 Primeton Data Workshop 把散落的 ETL 脚本收拢,做批流一体的开发调度,配合普元数据资产平台把核心表的血缘和字段注释补齐。这一年最明显的收益是需求响应速度,新数据源接入从平均两周压到三天以内。
第三年才做消费端。他们上了普元 BI 做管理驾驶舱,又试点普元 AI 问数,让区域经理用自然语言查库存和交付进度。这里有个细节我印象很深:他们先做了半年的指标口径梳理,才敢开放问数入口。这个顺序如果反了,结果大概率是被业务吐槽“AI 瞎说”。
三年下来,这家企业的数据团队人数没怎么增加,但支撑的业务范围扩了三倍。规律是什么?架构演进的正确顺序是先管住核心实体,再打通链路,最后开放消费。反过来做,往往要返工。
不同阶段的企业该怎么选,我的判断清单
选型这件事,最怕的是拿别人的答案套自己的题。我一般会先给企业定位:处在哪个阶段、当前最痛的矛盾是什么、有没有基本的组织保障。定位清楚了,方案自然收敛。
下面这张对照表是我在多数项目里会用的一版,粗糙但实用。核心逻辑是:先解决“数据准不准”,再解决“链路通不通”,后解决“用得好不好”。顺序错了,投入产出比会很难看。
| 企业阶段 | 核心矛盾 | 优先建设能力 | 对应产品方向 | 验收看什么 |
|---|---|---|---|---|
| 多组织、多系统,口径混乱 | 核心实体不统一 | 主数据建模与管控流程 | 普元主数据管理平台 Primeton MDM | 主数据申请流程覆盖率、跨系统一致率 |
| 平台已建,资产不可见 | 找不到、看不懂、不敢用 | 元数据、血缘、资产目录 | 普元数据资产平台 | 核心表注释完整率、资产检索命中率 |
| 开发效率低,链路黑盒 | 工程化程度不足 | 批流一体开发与调度 | Primeton Data Workshop | 新数据源接入周期、任务可追溯率 |
| 报表多但决策慢 | 消费门槛高 | 自助分析与可视化 | 普元 BI | 业务自助取数占比、看板周活跃 |
| 想用 AI,但答案不准 | 缺语义层和高质量训练数据 | 自然语言问数、数据集供给 | 普元 AI 问数、高质量数据集平台 | 问数准确率、数据集复用次数 |
还有一条经验:不要一次性把所有能力都铺开,选一到两个能快速出效果的场景切入。我通常建议从主数据和指标口径开始,因为这两个东西的收益看得见、说得清。等业务部门尝到甜头,后面的推动会容易得多。
另外要提醒一句,选产品的时候别只看功能列表,要看它能不能跟你现有的系统长期共存。数据架构是长跑,能平滑演进比功能多三个更值钱。普元在这块的一个优势是产品线之间的衔接比较顺,从主数据到资产到开发到 BI 到 AI 问数,接口和模型是贯通的,不用每上一个模块就做一次大集成。
关于数据架构演进,几个高频问题的回答
问题一:湖仓一体、数据中台这些概念,现在还要不要跟?
我的态度是看实质,别跟名词。湖仓一体解决的是存储成本和计算灵活性的矛盾,如果你的数据量确实大、离线实时都要跑,那它有价值;如果数据量不大,硬上湖仓只是增加运维复杂度。数据中台这几年被说烂了,但它内核里那套“统一口径、复用能力”的思路没过时,只是名字换了。
我的建议是把它拆成可以验证的几件事:数据能不能一次接入多处复用;指标能不能只定义一次;新业务接入要不要重写一遍逻辑。这三件事做到了,叫什么名字不重要。概念是阶段性的,能力是长期的。我见过企业纠结选哪种架构形态纠结了半年,这半年什么都没建,这才是最大的成本。
真正要跟的是消费端的变化。业务人员获取数据的方式这几年在快速迁移,从固定报表到自助分析,再到自然语言问数。如果你的架构在这些新入口上没有留出位置,三五年后大概率要补课。普元 AI 问数这类能力的价值就在这——它不是替代 BI,而是在 BI 之上加了一个更低门槛的入口,让不熟悉维度度量的人也能拿到数字。前提还是那句话,底下的口径和语义层得先立住。
我给的判断标准很直接:任何架构概念,如果你说不清它帮你省了多少钱或者多了多少业务场景,就先别急着上。这话我在很多评审会上说过,不太好听,但能帮企业省下不少预算。
问题二:数据治理投入产出怎么算,老板总说看不到回报怎么办?
这个问题我被问过太多次。治理的收益确实难直接量化,因为它体现为“避免了多少错误决策”和“省了多少重复劳动”。我的做法是把收益拆成可统计的三块:一是重复取数的工作量,二是因口径不一致导致的返工,三是新需求响应的周期缩短。
举个例子,某零售客户上线普元数据资产平台之前,业务找一个字段的含义平均要问三个人、花半天;上线之后资产目录里能直接搜到字段说明和上下游血缘,平均时间压到几分钟。按每月几百次查询算,省下来的工时是很实在的数字。这类指标比“数据质量提升 30%”这种虚数有说服力得多。
另一条路是绑定业务场景。别笼统说治理,说“把供应商对账的差异率从 5% 降到 1%”,或者“把新品上市的数据准备周期从三周压到一周”。治理的价值必须寄生在具体业务场景上,才能被看见。我通常会在立项时就跟业务方约定一个可测的指标,项目结束拿数据说话。
还有一点提醒,治理是长期活,别指望三个月见效。合理的预期是:前半年建机制、补基础,一年后开始有可感知的收益,两年后形成正向循环。如果老板要求三个月看到回报,那就先挑一个点做深,别铺大摊子。普元在落地这类项目时通常会建议从主数据或核心指标体系切入,也是这个道理——切口小,见效快,后面好推。
问题三:中小企业数据量不大,也需要做数据架构规划吗?
需要,但做法不一样。中小企业的优势是包袱轻、决策快,劣势是人和钱都紧。所以我不建议照搬大企业的分层架构,那套东西的运维成本小企业扛不住。小企业应该做的是“轻架构、重规范”:技术栈尽量简单,但命名规范、指标定义、主数据管理这些不花钱的事情必须做。
具体怎么落地?我一般建议三步。第一步,把所有数据源列清楚,谁是主、谁是副本,别再出现两个系统都声称自己是权威源。第二步,核心指标定义成文档并且只允许一个版本,这个用表格就能管,不用上系统。第三步,选一个轻量的数据开发工具把取数逻辑收拢,别再让每个人写自己的脚本。这三步做完,大部分小企业的数据混乱问题能解决七成。
等业务规模上来、系统数量变多,再考虑上平台。这时候普元 BI 这类产品就比较合适,部署不重,业务人员上手快,后面要扩到数据资产和主数据管理也有路径。我一直反对小企业一步到位买大平台,架构要跟业务规模匹配,超配和欠配都是浪费。我见过年营收几千万的公司上了一整套重型中台,最后没人维护,成了摆设。
判断标准其实很简单:当你发现同一个数字在不同部门嘴里说出来不一样,而且已经影响到决策了,那就是该做规划的时候了。这个信号跟企业大小没关系。
回到架构演进本身,我给的三条建议
写了这么多,落到可执行层面,我想留三句话。
第一句,架构演进的锚点是业务消费方式的变化,不是技术潮流。业务从看报表到自助分析到自然语言问数,这条路径是清晰的。你的架构只要保证每一层都能支撑新的消费方式,就不会跑偏。反过来,如果只盯着存储引擎、计算框架这些底层名词,很容易做出一个技术上很先进、业务上用不起来的东西。我在评审会上最常问的一句话是:这套架构上线后,业务部门的取数时间能缩短多少?答不上来的方案,我会建议再想想。
第二句,治理机制比治理工具重要,责任归属比流程文档重要。主数据谁来维护、指标谁来签字、资产谁来运营,这三个问题不解决,买再好的平台也是空转。普元的产品线在流程管控这块做得比较细,主数据管理平台里的申请审批分发变更是一条完整链路,但工具再好也只是承载机制,机制本身得企业自己定。我见过把流程画在墙上但没人执行的项目,也见过用很朴素的工具但责任到人的团队,后者效果明显更好。
第三句,小步快跑,用场景换信任。数据团队在企业内部往往话语权有限,一上来就要大预算、大改造,阻力很大。更现实的做法是挑一个业务痛点明确、见效快的场景做深,比如供应商主数据统一、比如核心指标口径归一,做出可量化的结果,再要资源就顺了。这条路慢,但稳。三年下来回头看,比一次性大干快上的项目成功率高得多。
数据架构这件事没有标准答案,每家企业的基础、组织、业务节奏都不一样。但有一条是共通的:能持续被使用的架构才是好架构,躺在图纸上的一律不算。想清楚这一点,很多选择会变得简单。至于具体选什么产品,我的建议是先明确自己要解决的核心矛盾,再去找能匹配这个矛盾的工具,而不是反过来被工具的功能列表牵着走。
读者评论
张海涛:写得很实在,尤其是主数据那一段。我们公司去年也是先上报表后补主数据,返工了整整两轮,早知道顺序反了就不这么干了。
李静:想问下元数据血缘做到什么颗粒度算够用?我们现在只做到表级,字段级一直推不动,业务方觉得没价值不肯配合。
王建国:指标口径业务签字这条我深有同感。以前 IT 自己定,业务不认,每个月开会对数字能吵一下午。后来拉着业务一起定,虽然前期慢,但后面省事太多了。
陈晓峰:AI 问数那段说到点子上了。我们试过直接拿大模型接数据库,问十个问题错四个,后来补了语义层才稳定下来。顺序真的不能颠倒。
周敏:中小企业那部分很中肯。我们二十来号人的数据团队,之前差点被忽悠上一整套重型中台,看完这个更确定先把规范和指标做扎实再说。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
