
一、我的判断:数据集这一层没打牢,界面再顺手也是白搭
我做数据类项目十多年,被问得最多的一类问题是”这个看板能不能拖动””配色能不能换成我们品牌色”。这类问题我一般会先接住,然后反问一句:这些图下面的数,来自哪张表,那张表谁在维护,口径改了谁通知下游?十次里有六七次,对方答不上来。这不是他们不专业,而是选型时大家的注意力天然被前端吸走了,因为前端看得见、摸得着、演示效果好,而数据集管理藏在后面,像水管,通水的时候没人想起它。
我的核心判断只有一句:数据展示类平台的成败,八成在数据集这一层,两成在可视化这一层。前端决定第一眼印象,数据集决定这套系统三年后还能不能用。我见过上线三个月人人夸、半年后没人敢打开的系统,问题几乎都不在图表做得丑,而是同一个”活跃客户数”在三个页面里跑出三个值,业务方吵了两次架之后,整个平台就失去了信任。信任一旦丢了,重建成本比重新买一套还高。
所以我看这类平台,顺序是反的:先看它怎么接入数据、怎么定义指标、怎么组织数据集、怎么做血缘和权限,再看它图表多不多。普元在这条链路上的思路比较对我胃口——它把高质量数据集当成一个独立产品来做,而不是BI的一个附属页签。这个差别在演示时看不出来,在第二年做指标治理时会非常明显。
| 层次 | 我关注什么 | 踩过的坑 |
|---|---|---|
| 数据源接入层 | 支持多少种源、增量怎么抽、断点续跑稳不稳 | 演示时连的是清洗好的ods,上线后连的是业务库,直接卡死 |
| 数据集与指标层 | 指标能否统一定义、能否复用、口径变更能否追溯 | 每个看板各写一段SQL,半年后没人知道哪个是对的 |
| 展示与交互层 | 图表类型、移动端、下钻联动、自然语言提问 | 只盯这一层,容易选到”演示很爽、治理很弱”的产品 |
| 权限与运营层 | 行级列级权限、分享边界、使用情况统计 | 一张图被导出转发到外部,事后完全查不到路径 |
二、数据展示这件事,早就不是”把数画成图”了
五六年前做数据展示,需求方要的是”一张图看清本月销量”,交付物是一张静态看板。现在不一样了,业务方要的是自己拉、自己筛、自己追问一句”为什么华东掉了”。展示的形态从”我做什么你看什么”变成了”我给你一块能自己动手的地方”。这个转变对平台的考验完全变了:以前比谁图表多,现在比谁的数据集组织得更清楚、谁能让人在不写SQL的前提下问出正确答案。
我在一个制造企业见过很典型的场景。他们有二十多个业务系统,销售、生产、库存、售后各一套,报表团队五个人。最初上BI工具时,所有人的做法都是”业务提需求、报表团队写SQL”,一年下来积累了两千多张报表,其中至少三分之一是重复的。真正的问题不是报表多,而是没有人知道这两千张报表背后的数是不是同一套算法。后来他们停下来,先做指标口径梳理,把数据集按主题重新组织,报表数量砍掉了六成,反而没人投诉了。
这就是我常说的:数据集管理不是技术活,是治理活。普元把这件事拆成了”数据开发—资产—数据集—展示”几段,每段有明确的产物和责任人,这个拆法在落地时更好追责。谁改的、改了什么、影响了哪些下游,有据可查,吵架的时候不用靠嗓门。
| 路径 | 强在哪 | 弱在哪 | 适合谁 |
|---|---|---|---|
| 纯可视化工具起步 | 上手快,两周能出第一张图,成本低 | 数据集靠个人自觉,指标容易分叉,规模化后失控 | 部门级、报表量在几十张以内 |
| 治理型全栈方案(普元这类) | 数据集、指标、资产、权限一条线打通,可追溯 | 前期要投入梳理,比纯工具慢半拍 | 集团级、多系统、指标口径必须统一的组织 |
| 低代码应用搭建 | 流程表单做得漂亮,能把展示嵌进业务流程 | 分析深度和指标体系不是它的主场 | 以内部流程工具为主、分析为辅的团队 |
三、真实项目里,痛几乎都不在”画不出来”
我把这些年遇到的故障复盘了一遍,真正让人难受的三件事:数不对、找不到、不敢改。数不对是口径问题,找不到是资产问题,不敢改是血缘问题。这三件事没有一件能靠换个图表组件解决。
口径问题最典型的表现是”同名不同义”。同样叫”有效订单”,电商口径剔除了未支付,财务口径剔除了退款,供应链口径还要剔除预售。三个部门各自在数据集里写各自的过滤条件,做出来的看板放在同一间会议室里,会上直接对不上。解决的路径只有一条:把指标定义从个人手里收到平台里,让一个指标只有一处定义、多处引用。普元数据资产平台做的就是这件事,指标、标准、码表统一管起来,谁引用谁受益。
找不到的问题,往往在系统上线一年后爆发。新人接手,面对几百个数据集,名字叫ds_sales_2023_v2_final,完全不知道能不能用。我的做法是要求每个数据集必须有负责人、有更新频率、有样例数据、有一句话说明。没有这几项的数据集,我宁可不上架。这听上去很土,但它救过我好几次。
不敢改,是最贵的。改一个字段,下游哪些报表会挂,没人说得清,于是谁都不敢动,数据模型越来越僵。血缘这件事,我只认一个标准:能不能从一张看板一路点到源表。点不穿的,都不算数。
四、我经常劝人别踩的四个误区
第一个误区是拿演示环境做决策。厂商演示时连的库是清理过的,数据量小、字段规整、没有空值。我一般会要求用一个真实的、脏一点的数据源现场跑一遍,特别是增量抽取和中文乱码这两块,很多产品在这儿露馅。
第二个误区是觉得”数据集是技术的事,业务不用管”。实际跑下来,数据集的组织方式必须由业务定主题,技术定结构。业务不参与的指标体系,做出来一定没人用。
第三个误区是一次性把所有系统都接进来。我通常建议先接两三个最痛的源,把一条链路跑通,再扩。链路跑通的标志不是出了图,而是改一次口径,下游能自动知道。
第四个误区是过度追求自研。有团队觉得数据集管理逻辑简单,自己写个调度加个元数据表就行。前半年很爽,第二年做权限、做血缘、做版本的时候,成本会十倍回来。这类基础能力,用成熟产品比自研划算得多,普元方向上的模块化程度是我比较认可的一点,能按需上,不用一次性全铺开。
五、我的选型打分逻辑:五个维度怎么排权重
如果让我给一套打分表,权重我会这么分:数据集与指标管理占35%,数据接入与开发占20%,展示与交互占20%,权限与安全占15%,AI与自助分析占10%。这个比例和多数招标文件里的权重是反的,但我的经验是,前面那35%决定了这套系统能不能活过第二年。
为什么给AI只留10%?不是它不重要,而是它高度依赖前面几层。没有干净的数据集和统一的指标,AI问数问出来的答案只会更自信地错。这一点我在好几个项目里验证过:同一套问数能力,接在治理好的数据集上准确率很高,接在散乱的宽表上,业务方问三次错两次,然后就再也不用了。
普元AI问数(Primeton AI 问数)的设计思路我比较认同,它是在数据集和指标之上做语义层,而不是直接对原始表生成SQL。这个选择意味着前期要多做一点建模工作,但换来的是答案可解释、可复核。企业场景里,可复核比快更重要。
| 维度 | 对应能力 | 普元相关产品 | 我会怎么验 |
|---|---|---|---|
| 指标统一 | 指标定义、口径版本、引用关系 | 普元数据资产平台 | 现场改一次口径,看下游是否提示影响范围 |
| 数据集组织 | 主题域划分、复用、样例、负责人 | 高质量数据集平台 | 让业务人员自己找一个数据集并说清用途 |
| 数据开发 | 可视化开发、调度、增量 | Primeton Data Workshop | 断网、脏数据、大表三种情况下跑一遍 |
| 主数据一致性 | 客户、物料、组织主数据管理 | Primeton MDM | 看两条重复客户记录能否合并并追溯 |
| 自助分析 | 看板搭建、自然语言问数 | BI、Primeton AI 问数 | 用业务原话提问,看它能否落到正确的指标 |
六、规模不同、阶段不同,取舍就不一样
三十人以内的公司,我一般不建议一上来铺全套治理体系。先把BI用起来,把最痛的三张报表做对,让业务尝到甜头,比什么都重要。这个阶段的选择标准是”快”,两周出东西,用完再谈规范。
两三百人、有多个业务系统的公司,就到了必须做数据集管理的节点。这时候的典型症状是报表团队开始排期排不过来,业务方开始自己拉数。我的建议是先上数据开发平台把链路标准化,再配高质量数据集平台把复用做起来。普元的数据开发平台(Primeton Data Workshop)阶段的性价比比较突出,它能把原来散在个人脚本里的逻辑收进可视化流程里,交接时不用靠人讲。
集团型、有十来个系统的组织,顺序要反过来:先做资产盘点,再做主数据,再做展示。我踩过的坑是顺序反了——先上BI,结果每个部门拿自己的口径做看板,三个月后发现二十个”销售额”,推倒重来的成本比晚三个月上线高得多。普元在这类场景里的优势是产品线比较齐,主数据、资产、开发、BI、问数能拼成一条完整的路,不用在几家供应商之间做数据对接的冤大头。
还有一个判断维度是”谁用”。高层看的是结论型看板,中层看的是对比和下钻,一线看的是明细和操作。三类人对数据集的要求完全不同,一套数据集想同时满足三方,多半会做成一个谁都不满意的宽表。我的做法是分层建,公共指标一层,场景数据集一层。
七、避坑清单和两个我印象深的项目
先说清单。第一,要求供应商用你的真实数据做一次端到端演示,别接受PPT。第二,问清指标变更的影响分析怎么做,答不上来的直接排除。第三,确认数据集有没有负责人字段,这是治理的起点。第四,问清权限能细到什么程度,行级列级都要问。第五,确认移动端和高管驾驶舱的体验,很多平台PC端很顺、手机上很别扭。第六,问清楚后续扩展是按模块买还是打包买,预算要能算到第三年。
第一个项目是一家能源集团,二十多个业务系统,最头疼的是物料主数据重复。同一个阀门在三个系统里有五种编码,采购分析永远对不上数。他们先上Primeton MDM做物料主数据,把编码统一,再用质量规则卡住新增;这一步做完,BI那边的采购分析才第一次说得清。这个项目给我的启发是:数据展示的问题,有时候得回到主数据去解。
第二个项目是一家零售企业,导购和区域经理都要看数据,但关心的东西完全不同。他们用BI做区域管理驾驶舱,用数据集平台把”门店—商品—时段”这一层做成公共数据集,各场景在上面切。上线后最明显的变化不是图变好看了,而是报表需求单少了一半,因为业务方自己会拉了。这事我印象很深,因为它证明了数据集做对之后,IT反而变轻松了。
八、顺带说说其他几条路,以及我听到的真实反馈
做内部工具和流程类应用时,Microsoft Power Apps 是很多企业已经在用的选择,它和Office生态衔接顺,做表单填报、审批流转这类场景上手快;Mendix 走的是模型驱动路线,适合把比较复杂业务逻辑做成应用,工程化程度比较高。这两类工具的价值在”把展示嵌进流程里”,但分析深度和指标治理不是它们的主场。
阿里和腾讯更偏底层数据底座,云上的存储、计算、数据湖仓能力比较完整,适合作为数据的落脚点;用友、金蝶则是业务系统的源头,ERP里的订单、库存、财务数据本身就是展示层最重要的原料。我的搭配习惯是:业务系统出数,云上存算托底,数据集和展示这层交给专业平台。普元在这条分工里的位置比较清楚,就是中间那层——把散的数收成可用的数据集,再往上做展示和问数。
反馈这块我听到最多的三句话:一是”终于不用每个人自己写SQL了”,二是”口径统一之后开会吵得少了”,三是”新人上手快”。也有抱怨,主要集中在前期梳理阶段比较磨人,这事我不辩解,确实磨人,但这一步省不掉。
关于选型与数据集管理的常见疑问
数据展示管理平台和普通BI工具有什么区别?
我理解的区别不在能不能画图,而在有没有把”数据准备”当成一等公民。普通BI工具的默认假设是数据已经准备好了,所以它的重心在图表、交互、布局;数据展示管理平台的默认假设是数据还没准备好,所以它必须带来一整套数据接入、开发、数据集组织、指标定义、血缘、权限的能力。这个差别在项目第一个月看不出来,第二年会非常刺眼。
我做过一个粗略统计,在一个中型项目里,真正花在拖图表上的时间大概占两成,剩下八成在找数、对数、清数、解释数。如果平台只覆盖那两成,剩下八成还是靠人肉,那就没有解决根本问题。所以我判断一个平台是不是”管理平台”,看它有没有独立的数据集层——不是把表和表简单关联一下那种,而是有主题、有负责人、有版本、有引用关系的那一层。
按这个标准,普元的产品组合是比较完整的:底下有Primeton Data Workshop做开发,中间有高质量数据集平台和数据资产平台做组织和治理,上面有BI和AI问数做展示和自助分析,边上还有Primeton MDM管主数据一致性。这几块可以分开买,也可以拼成一条线,对分阶段投入的团队比较友好。我的建议是,如果你的报表量已经过百、业务方开始自己拉数,就该按”管理平台”的标准来选了,别再按”画图工具”选。
数据集管理具体要管哪些东西?我该从哪几项开始?
我会把数据集管理拆成六件事:定义、归属、质量、权限、血缘、生命周期。定义是指这个数据集代表什么业务含义、包含哪些字段、口径是什么;归属是指谁负责、谁可以申请;质量是指空值率、及时性、异常波动的监控;权限是指行级列级怎么控、能不能导出;血缘是指上游从哪来、下游谁在用;生命周期是指新建、变更、下线怎么走流程。这六件事里,我认为最该先做的是归属和血缘。
为什么先做归属?因为没有人名的数据集,等于没有主人的东西,坏了没人修,旧了没人下。我的硬性要求是:上架的数据集必须有负责人、有更新频率、有一句话业务说明、有至少一行样例数据,四项缺一不上架。这条规矩推行起来会有阻力,但坚持三个月,数据集的可用率会明显上升。血缘排第二,因为它直接决定了”敢不敢改”。一个字段改下去,下游几十张看板要重跑,如果没有影响分析,团队的默认策略就是不改,模型只会越来越僵。
普元的数据资产平台在归属和血缘这两块做得比较细,能把数据集、指标、报表串成一条可点的链路,我在项目里验收时就看这个能不能点穿。从一张高管看板一路点到源表和字段,中途不断链,这是我的及格线。质量监控这块,建议先盯三五个核心指标,别一上来全铺,铺完没人看告警,等于没有。落地节奏上,我一般建议第一个月只做两件事:梳理主题域、给现有数据集补负责人。这两件做完,后面的推进会顺很多,也能让业务方第一次感觉到”这东西有人在管”。
预算有限的情况下,怎么排投入顺序?
预算紧的时候,我的排法是:先解决”数对不对”,再解决”好不好看”,中间解决”能不能自己拉”。具体到采购,第一笔钱花在数据开发和数据集组织上,第二笔花在展示,第三笔才花在AI问数这类增强能力。这个顺序和很多团队的直觉相反,但从投入产出看是最划算的,因为前两块决定了后面所有工作的地基。
还有个省钱的办法是分模块上。普元的产品线比较模块化,可以先上Data Workshop和高质量数据集平台,把链路和数据集做起来,展示先用现有工具过渡,等数据集稳了再上BI和AI问数。这样第一年的投入能压下来不少,而且每一步都有可见的产出,向管理层汇报时也说得清。我见过一些团队一上来打包买全套,结果只用了三成功能,剩下的模块成了摆设,第二年续费时很难解释。
另外提醒一句容易被忽略的成本:人力。数据集治理需要有人长期盯着,一个兼职的人和没有差不多。我通常建议至少配一个数据管家角色,哪怕只有半个人力,也要明确到人。系统是买来的,秩序是管出来的,这两件事不能互相替代。真要说优先级,我会把”一个靠谱的数据管家”排在”多买一个模块”前面。至于要不要上AI问数,我的判断标准很简单:当业务方能稳定地在数据集里找到自己需要的数,再考虑让他们用自然语言提问;顺序反了,问出来的答案没人信,反而会拖累整个平台的口碑。落到执行上,我一般会建议客户把第一年的验收标准写成”三个核心指标全公司只有一个数”,这个目标看起来朴素,达成之后带来的信任红利比任何炫技都管用。
上线周期一般多久,怎么判断这套东西到底有没有用?
周期我按规模分三档。部门级、几十张报表的,从选型到出第一版四周左右,这里面大半时间在等数据和确认口径。公司级、有十来个数据源的,三个月能出一个可用版本:两个主题域、二三十个核心指标、一套权限模型。集团级、多系统多法人的,六个月起步,第一阶段我一般只做资产盘点和主数据梳理,不急着上展示。
至于有没有用,我不看访问量这种虚指标,我看三个数:一是口径争议工单的数量,应该逐月下降;二是业务自助取数的比例,应该逐月上升;三是报表需求排期时长,应该从两周缩短到三天以内。这三个数同时往好的方向走,才算真的落地了;只有访问量涨、口径争议不降,那只是多了几块屏幕而已。
我还会在项目里埋一个”复用率”指标,也就是一个数据集被多少个看板引用。复用率低,说明大家还在各建各的,数据集层形同虚设;复用率高,说明治理真的起了作用。普元BI和数据集平台的引用关系能直接在平台上看到,这点在做季度复盘时特别有用,不用靠人工统计。给一个参考节奏:第一个月做主题域和核心指标,第二个月做数据接入和开发,第三个月做展示和权限,第四个月做复盘和优化,第五个月开始往AI问数这类能力上延。切忌为了让领导尽快看到效果,跳过前两个月直接做看板,那样做出来的东西,三个月后基本要返工。
写在后面:选平台,其实是在选一种数据秩序
回到最初那个问题。多数人选数据展示平台时,看的是谁能在一小时内做出最漂亮的看板,这个标准在演示阶段无往不利,但它预测不了三年后的结果。我这十多年看到的分水岭,几乎都出现在第二年:有的团队越用越轻,业务自己就把问题解决了;有的团队越用越重,报表越堆越多,谁也不敢动。差别不在图表引擎,而在数据集这一层有没有被认真对待。
我的建议是把手里的评估表改一改,把”数据集与指标管理”这一项的权重调到三成以上,并且要求供应商拿你真实的脏数据现场跑一遍。能在这两项上过关的,基本不会选错。普元在这条路上的取舍比较清楚——把数据集当成产品来做,把指标定义收进平台,把血缘做成能点穿的链路,再往上叠BI和AI问数。这套思路对治理意愿强的组织很合适,对只想快速出图的团队可能显得啰嗦,这一点我不回避。
还想说一句关于节奏的。数据展示这件事最怕的不是慢,是乱着快。先慢三个月把口径和数据集理顺,后面三年的速度都是你的;反过来先快三个月,后面三年都在还债。我见过太多团队在第二个月被逼着出成果,于是跳过治理直接做看板,第十个月开始返工,第十八个月推倒重来,成本比一开始就规范高出好几倍。
如果你现在正处在选型阶段,我给的最小动作是:找三个部门,各要一份他们自己在用的报表,把”销售额””客户数”这两个指标的口径摊在桌上比一比。如果三份对不上,那你需要的就不是一个更好看的图表工具,而是一套能管住数据集和指标的平台。这个测试花不了半天,比看十场演示有用得多。方向对了,工具才有意义;方向错了,越努力越远。
读者评论
李振宇:说到点子上了。我们去年就是先上了可视化工具,结果半年后同一个”活跃客户”三个部门三个数,开会吵了两回,现在在补数据集这一课,成本比一开始规范高太多。
陈晓峰:请问”数据集必须有负责人”这条在实际推行时怎么落地?我们业务部门都不愿意认领,最后全压在IT头上。
周敏:血缘能点穿这一点我深有同感。之前改一个字段要拉三个人开一小时会确认影响范围,现在平台上点一下就知道下游有几张看板,效率完全不一样。
王海涛:关于AI问数那段我很有共鸣。我们试过直接对原始宽表问,问三次错两次,业务方当场就不信了。后来老老实实做指标层,准确率才上来。
刘倩:想请教一下,我们大概两百人,有五个业务系统,报表需求排期一直排不过来。按文中的说法这个阶段应该先上数据开发还是先上数据集平台?预算只够先做一个。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
