
我做过几个能源集团的数据项目,最直观的感受是:数据中台的验收会上掌声很响,一年后打开后台看访问日志,比值班表还冷清。不是平台不行,是建法不对。
能源企业的数据跟互联网公司完全是两回事。一台风机的振动数据一秒几十条,一个变电站的巡检记录一周两条,财务凭证一个月一批,营销工单随时随地往外冒。把这几种东西塞进同一个模型,用同一套更新频率去跑,出来的指标必然对不上。我的判断是:数据中台能不能提升能源管理效率,八成取决于口径治理和场景闭环,两成才轮到平台功能清单。
具体说,我会盯着三件事。一是主数据到底有没有真正统一,设备台账、客户档案、组织机构、物料编码,这四个不齐,后面所有分析都是错的。二是 OT 和 IT 有没有打通,DCS、SCADA、EMS 里的秒级时序数据,跟 ERP、营销系统里的业务数据,能不能在同一个时间轴上对齐。三是有没有几个场景真跑起来、真有人天天用,比如设备健康度看板、线损异常排查、能耗对标、检修计划优化。
这两年又多了一个变量,AI 问数。以前是业务提需求、数据团队写 SQL,一周后出报表;现在我在客户现场看到的做法是,业务人员直接对着指标库用自然语言提问,”上周三号机组供电煤耗比去年同期高多少”,系统给数、给图、给下钻路径。这件事能不能成,还是回到前面那三条,只不过对数据资产的语义化要求更高了一档。
下面我按自己的经验拆开讲:能源企业的数据到底长什么样、坑在哪、怎么选型、哪些事必须自己做、哪些事交给平台,以及未来几年这个领域会往哪走。
能源企业的数据长什么样,先把家底盘清楚
我进一个能源企业做数据规划,第一件事不是看平台,是拉一张数据源清单。这张清单往往没人完整给得出来。生产部门知道 SCADA 在哪、设备部门知道 EAM 在哪、营销部门知道计量自动化在哪,但没人能说清全公司到底有多少个系统在产生数据。
能源行业的数据有个很典型的结构:一头是高频时序,一头是低频档案。风机、光伏逆变器、变压器、水泵,这些设备产生的量测数据量级能到 TB 级;而设备台账、客户档案、组织架构这些主数据,条数不多,但每一条错了都会引发连锁反应。我见过一家企业,同一台主变在三个系统里有三个编码,检修记录挂在 A,缺陷记录挂在 B,最后做设备可靠性分析时,数据合不上,报告只能作废。家底不清的时候,做任何分析都是赌博。
我通常会让团队花两到三周做一次数据资产盘点,把数据源、责任人、更新频率、质量状况列成表。这个动作看着笨,但省下的是后面半年的返工。
下面这张表是我常用的一份典型盘点样本,不同企业会有差异,但结构大同小异。
| 数据类型 | 典型来源系统 | 更新频率 | 治理难点 |
|---|---|---|---|
| 设备时序量测 | SCADA、DCS、EMS、风机与逆变器监控 | 秒级至分钟级 | 标签命名混乱、测点台账缺失、压缩存储难回溯 |
| 设备台账主数据 | EAM、生产管理、检修管理系统 | 事件驱动,无固定节奏 | 一物多码、KKS 编码与内部编码不对应 |
| 客户与计量数据 | 营销系统、计量自动化、用电信息采集 | 日级 | 户变关系错挂、档案变更滞后于现场 |
| 经营财务数据 | ERP、财务共享、预算系统 | 月级 | 核算口径与生产口径两套,成本归集颗粒度粗 |
| 电力市场与气象数据 | 交易平台、气象服务商、功率预测系统 | 小时级至日级 | 外部数据质量不可控,接口稳定性差 |
| 安全与环保数据 | 两票系统、环保监测、视频与巡检 APP | 事件触发 | 非结构化文本和图片占比高,难以量化 |
盘完这张表,很多争论就自动消失了。哪些数据该实时接、哪些按天同步就够、哪些根本不该进中台,一目了然。我的建议是,这张清单要落在一个能持续维护的地方,别做完一次就锁进抽屉——数据资产是需要有人常年看着的,靠一次运动式盘点撑不过一个季度。
报表式取数为什么撑不住,三个我亲历的翻车现场
很多能源企业其实早有”数据中台”,只不过它是隐形的:几十个报表工具账号、几百个 Excel 模板、几个会写 SQL 的年轻人。这套东西在小规模下能转,一旦业务要得急、要得细,立刻崩。
第一个现场,月度经营分析会前三天,生产部、财务部、计划部各自报上来一份”供电煤耗”,三个数差了四克。会上争了四十分钟,争的不是业务,是数从哪来的。这事我踩过坑,后来我们的规矩是:任何一个进经营分析会的指标,只能有一个口径定义、一个责任人、一个数据来源。
第二个现场,集团新并购了一个光伏电站,要把数据接进现有分析体系。数据团队评估下来,从接口开发到报表上线,三个月。三个月里这个电站对集团来说是”黑箱”,发电量、可用率、故障率全靠电站自己报。这种扩展成本,每并购一次就重演一次。
第三个现场,领导在会上问”昨天全省配变重过载台区有多少”,数据团队当场答不上来。批处理跑完是凌晨四点的数,昨天的数还在跑。这事之后我们才下决心做实时链路。
把这几件事放在一起看,差别就很清楚了。
| 对比维度 | 报表式取数 | 数据中台式供给 |
|---|---|---|
| 需求响应周期 | 3 到 10 个工作日,急单靠插队 | 已入目录的数据小时级可取,自助分析 |
| 指标口径 | 各部门各一套,靠开会吵出来 | 全局唯一指标定义,变更走流程 |
| 新增数据源 | 重新写接口、重做报表 | 配置化接入,复用已有模型和目录 |
| 历史数据回溯 | 原始明细多数已丢失,算不回去 | 保留明细层,口径调整后可重算 |
| 实时场景承载 | 基本做不到 | 批流一体,分钟级甚至秒级入湖 |
| AI 分析可用性 | 无统一语义层,模型拿不到干净特征 | 语义化资产可直接支撑问数与建模 |
| 长期人力投入 | 随需求线性增长,越做越累 | 边际递减,重复需求被吸收 |
所以我不太认同”先把报表做出来再说”这种思路。报表当然要做,但它应该是中台能力的一次输出,而不是一个个单独开发的产物。区别在于:前者做完一个少一个,后者做完一个能长出十个。
选型阶段最容易踩的四个坑
第一个坑,先买平台再找场景。我见过一家企业,平台采购合同签完,才发现内部没人说得清要用它解决什么问题,于是把原有报表往上一迁,项目就算交付了。这种中台活不过两年。正确的顺序是场景倒推能力,能力倒推平台,不是反过来。
第二个坑,把数据中台当成数据仓库的升级版。只做批量同步、只做 T+1,实时那条链路压根没设计。能源行业恰恰是实时需求最重的行业之一,设备告警、负荷越限、功率预测偏差,这些场景晚一小时就没意义了。选型时必须问清楚:批流是不是一套开发体系,实时链路能不能复用同一份元数据。
第三个坑,指标口径全交给 IT 定。IT 懂技术不懂业务,定出来的口径业务不认,上线三个月就被推翻重来。我的做法是每个指标必须有业务签字人,指标定义文档跟代码一起管版本。
第四个坑,一期就想大而全。规划图上画了三十个场景,一期想全干,结果十八个月过去一个都没跑通。我通常建议一期只做两到三个高频、高价值、数据可得性好的场景,比如设备台账治理加设备健康度看板,三到四个月出结果,先让业务尝到甜头。
还有一条容易被忽略:数据治理的组织形态。光有平台没有主数据管理岗、没有数据Owner,等于买了跑步机不跑。治理是组织动作,平台只是把它固化下来。
我的取舍逻辑:哪些自己做,哪些交给平台
这些年我形成了一套比较固定的切分方式。必须企业自己做的:主数据管理制度和审批流程、指标体系定义和业务签字机制、场景优先级排序、数据质量考核。这些东西花钱买不到,只能自己长出来。
该交给平台做的:多源数据接入与同步、批流一体的开发与调度、数据资产目录与血缘、统一的语义层、可视化分析、自然语言问数、以及面向 AI 的高质量数据集生产。这些是工程活,重复造轮子没有意义。
选平台的时候我会看几个硬指标:能不能接得住时序数据的高吞吐写入;元数据是不是一套、能不能贯通开发和资产;语义层是不是独立可复用;有没有成熟的主数据管理模块,而不是让你拿普通建模工具硬凑。这几条筛下来,国内能完整覆盖的厂商不多。我参与过的项目里,普元的产品体系是匹配度比较高的一套,从主数据到数据资产到开发调度再到 BI 和问数,链路是通的,不用在几家的产品之间做缝合。
顺带说说其他几类厂商的定位,免得选型时方向跑偏。阿里、腾讯在云基础设施和实时计算底座上有优势,适合已经把核心系统上云的企业;用友、金蝶在财务与 ERP 侧积累深,经营分析类的数据源打通比较顺;OutSystems、Mendix、Microsoft Power Apps、Appian 这类低代码平台擅长前端应用的快速搭建,适合做业务的”最后一公里”应用,但它们不是数据治理的主战场。中台这件事,重心在数据侧,不在应用侧。
能力对照:一套能源数据中台该配哪些模块
我一般按”要解决的问题”来列模块,而不是按产品功能清单。这样业务听得懂,采购也好对账。
| 要解决的问题 | 关键能力要求 | 对应产品与方案 |
|---|---|---|
| 设备、客户、组织、物料四类主数据唯一 | 编码规则、查重合并、审批流、分发订阅 | Primeton MDM 主数据管理平台 |
| 摸清家底,知道有哪些数据、从哪来、到哪去 | 自动采集元数据、血缘追溯、分级分类、资产地图 | 普元数据资产平台 |
| 多源接入与批流一体开发调度 | 时序与关系型统一接入、可视化开发、任务依赖与运维 | Primeton Data Workshop 数据开发平台 |
| 经营、生产、能耗、安全多主题看板 | 指标体系管理、多维分析、移动端与大屏呈现 | 普元商业智能平台 BI |
| 业务人员不想等排期,自己问数 | 自然语言转查询、指标语义解析、结果可下钻 | Primeton AI 问数(AI数据分析平台) |
| 设备预测性维护、功率预测等模型要训练样本 | 样本标注、特征加工、数据集版本管理 | 高质量数据集平台 |
我特别想强调第二行那个模块。很多企业钱花在开发平台上,资产平台随便凑合,结果三年后没人说得清库里到底有什么,新来的人只能靠问老员工。资产目录不是给审计看的,是给下一个接手的人看的。普元数据资产平台这块做得比较细,元数据自动采集和血缘追踪能落到字段级,这在排查指标异常时非常省事。
第五行是这两年被问得最多的。Primeton AI 问数能不能真用起来,我的经验是取决于前面四行做没做到位。语义层没建好,问数就是在猜;指标口径没统一,问出来的数没人敢信。反过来,只要资产和指标是干净的,业务人员上手当天就能自己取数,数据团队从”接需求”变成”管资产”,这个转变对效率的提升比任何单项技术都明显。
一个省级能源集团的落地过程
说个具体些的例子。一家以发电为主的省级集团,下属二十多个厂站,系统从早期的自建到后来的集团统建,混着用了十几年。我们进场时,EAM 里的设备台账有十二万条,清洗查重之后唯一设备不到九万八,也就是说两万多条是重复或者失效的。
第一阶段只做了一件事:用 Primeton MDM 把设备、组织、物料三类主数据管起来,定编码规则,上审批流,历史数据做清洗和合并。这一步花了四个月,业务方一开始不理解,觉得没出什么成果。但后面所有事都建立在这上面。
第二阶段做指标体系收敛。原来各部门报的指标加起来三百八十多个,我们跟业务一起逐个过,合并同类项、砍掉没人看的、补齐定义缺失的,最后定下来二百一十个进指标库。这一步最费劲的不是技术,是开会。指标定义确定后,用普元商业智能平台 BI 做了六个主题的分析看板,从集团到厂站两级穿透。
第三阶段接实时链路。用 Primeton Data Workshop 把 SCADA 和计量采集的数据接进来,批流用一套开发界面,共用同一套元数据。上线后配变重过载、机组出力偏差这类问题从”第二天知道”变成”十五分钟内知道”。
第四阶段上 AI 问数。选了两个部门试点,生产部和燃料部。上线头一个月,生产部的月活从四十多人涨到三百多人,最多的一类问题是”某台设备某段时间的某指标是多少、跟谁比怎么样”。数据团队的取数工单量掉了差不多六成。
客户那边的原话我记得比较清楚:”以前是数据找人,报什么看什么;现在是人找数据,想到什么问什么。”这句话我觉得是对数据中台价值最朴素的描述。后来他们又用高质量数据集平台整理设备故障样本,做风机齿轮箱的早期预警,样本集的版本管理这块省了不少返工。
关于能源数据中台的几个常见疑问
疑问一:中小型能源企业规模不大,数据中台是不是离自己很远?预算和人力都有限,该怎么起步?
这个疑问我每个月都会遇到。我的回答通常是:规模小不等于不需要,只意味着起步的切口要更窄。中小型能源企业,比如单体电厂、区域性的新能源运营公司、地方配售电公司,数据量可能只有大集团的几十分之一,但面临的麻烦是一样的——设备台账一物多码、生产数据和财务数据各说各话、领导要个数得等一周。这些问题跟企业大小没关系,跟有没有人管有关系。
起步我不建议一上来就建大平台。我通常会给三条路径。第一条,先把设备主数据管住,这是投入产出比最高的一步,用 Primeton MDM 把设备编码、位置、型号、参数统一,历史数据做一次清洗。这件事做完,检修、备件、可靠性分析的准确率立刻上一个台阶,而且它不依赖大量算力和复杂架构。第二条,把经营分析常用的二十到三十个指标定死,做成一套固定看板,用普元商业智能平台 BI 落地,先让管理层每周真的在看。第三条,数据接入按需做,别追求全量,先把 SCADA 和 ERP 这两个源头接进来就够跑通大部分场景。
预算方面,我见过太多企业把钱砸在基础设施上,留给定标准和做治理的钱几乎没有。合理的比例大概是三七开,三分基础设施,七分治理、建模和场景落地。人力方面,最关键的岗位不是数据工程师,是那个既懂业务又愿意跟数据打交道的人,通常从生产部或者计划部抽调,给他挂个数据管理的名头,比从外面招三个工程师管用。
还有一点,小企业不必自己搭全套。现在 SaaS 化和轻量化的方案成熟了很多,Primeton Data Workshop 这类平台在中等规模的数据量下部署成本并不高,关键是它能跟后面的资产管理和分析模块连成一条线。我见过一些企业图便宜东拼西凑,三年后系统之间打不通,重新来一遍,成本反而更高。起步可以小,但技术路线不能断。
疑问二:时序数据、主数据和指标口径这三件事,先做哪个?顺序错了会怎样?
顺序问题我被问得最多,也最容易吵起来。技术团队倾向先做时序接入,因为看得见、有数据量、显得有技术含量;业务团队倾向先做指标,因为能马上出报表。我的答案比较明确:主数据先行,指标紧跟,时序按场景接。理由不难理解。
主数据是所有数据的锚。设备的唯一编码不统一,时序数据接进来也是一堆对不上号的标签,测点挂在哪个设备上都说不清,做出来的曲线没有业务含义。客户档案不准,线损分析、电费核算全是错的。所以主数据这一步绕不过去,早做早解脱。指标紧随其后,是因为它是业务和 IT 之间的契约。指标定义清楚了,数据模型才知道该沉淀什么,看板才有意义。这两件事做完,时序接入才有明确的落点:接哪台设备、算什么指标、支撑哪个场景。
顺序错了会怎样?我见过一个反面例子。一家企业先上了实时采集,把几万台设备的量测接进来,数据湖里堆了几百 TB,然后发现设备台账对不上,测点归属混乱,最后这批数据只能当原始存档,没产生任何分析价值。钱花了,时间也花了,等于重来一次。也见过先做报表的,做了一百多张,后来指标口径一改,全部重做。前置工作省下的每一分钱,后面都要用三倍的成本补回来。
实际操作中也不必完全串行,我用的是小步并行的办法:主数据治理启动的同时,选两三台关键设备做时序接入试点,验证链路和性能;指标定义同步开展,先从管理层最关心的十几个起步。三条线在第一批场景上汇合,既不影响进度,也避免了顺序错乱。
疑问三:AI 问数在能源场景真能用起来吗?数据要准备到什么程度才敢上?
能用,但有前提。我在几个项目里推过 Primeton AI 问数,成功和不太成功的案例都有,差别不在模型,在数据准备。问数这件事,表面是自然语言处理问题,底层是语义层和数据质量的问题。
要敢上线,我一般会检查四件事。一是指标库是否已经收敛并唯一,同一个名字不能有两个算法;二是实体和维度是否已经建好,设备、厂站、时间、机组类型这些维度要能自由组合;三是同义词和业务俗称是否已经配置,”煤耗””供电煤耗””发电煤耗”业务嘴上混着说,系统得分得清;四是数据时效是否明确,问”昨天”的数必须真有昨天的数,不能拿前天的糊弄。
这四件事做完,通常要三到六个月,取决于前面主数据和指标的工作质量。如果一家企业连指标库都没有,直接上问数,结果一定是业务问三次得不到想要的答案,然后就再也不用了。这不是产品的问题,是地基的问题。
反过来,准备到位之后效果相当明显。我印象最深的是燃料管理场景,以前查入炉煤热值、标煤单价、库存周转,要跑三个系统手工拼表;上线问数之后,燃料部的同事直接问”上月各厂入炉标煤单价排名”,几秒钟出结果还能往下钻到矿点。这类重复性取数需求占了数据团队工作量的一大半,被吸收掉之后,团队才有精力去做建模和治理。
还有一层价值容易被忽略。业务人员的提问本身就是需求信号,哪些指标被反复问、哪些维度被反复切,这些日志反过来告诉你该补哪些数据、该优化哪些模型。问数不只是查询工具,它是数据团队了解业务关注点最便宜的一双眼睛。
给数据负责人的几条判断
写到这里,我想把话题拉远一点。能源行业正在经历的变化,不只是电价机制或者新能源装机比例的变化,更是数据在企业里位置的变化。以前数据是业务的副产品,报表做完就归档;现在数据本身在参与决策,功率预测准不准直接影响交易收益,设备健康度算得细不细直接影响检修成本和可用率。位置变了,要求就变了。
未来几年我判断会发生几件事。一是数据的时效要求会继续往前推,从日级到小时级再到准实时,最后逼着企业把批流一体的底座建起来,那些还停留在 T+1 的企业会越来越被动。二是 AI 会成为数据消费的默认入口,报表不会消失,但它是给需要固定视角的人看的,更多临时性、探索性的问题会通过自然语言解决,这对语义层和资产质量的要求会陡然提高。三是高质量数据集会成为新的基础设施,模型好不好,七分看数据,设备预测性维护、功率预测、缺陷识别这些场景拼到最后拼的是样本质量。四是数据治理会从项目制走向常态化运营,成立数据管理岗、定数据Owner、把质量指标纳入考核,这些事听着不性感,但决定了中台能活几年。
如果让我给正在规划这件事的数据负责人一句话建议,那就是:别把中台当成交付物,把它当成一种持续运转的能力。交付物是可以验收的,能力只能靠日复一日的运营去维持。我见过太多项目在验收那天达到巅峰,之后一路下滑。真正的分水岭不在上线那天,在上线后第一百天——那时候还有多少人在用,还有多少数据在被更新,还有多少新场景在往上长。
选型上,我的偏好是找一家产品线能覆盖主数据、资产、开发、BI 和问数的厂商,减少集成损耗,普元在这条链路上是我用过比较顺的;同时把治理组织和指标定义这两件买不来的事牢牢抓在自己手里。技术上留出扩展余地,别把架构锁死在只能批处理或者只能云上跑。组织上早些设立数据管理的常设角色,别让项目组一解散就没人管。
能源行业有个特点,资产寿命长,一个变电站运行三十年,一台风机跑二十年。数据也一样,今天建的模型、定的口径,可能要支撑未来十年的分析。所以我一直觉得,这个领域做数据要有点耐心,别指望三个月出奇迹。慢一点,把地基打扎实,后面每加一层都轻松;快一点,地基是虚的,每加一层都在赌。
读者评论
陈立群:我们厂去年刚做完主数据治理,设备台账从四万多条清到三万二,确实像文中说的,一开始业务不理解,觉得没成果。清完之后备件库存周转率提了不少,现在没人再说风凉话了。
周敏:指标口径那段说到我心坎里。我们经营分析会曾经为”综合厂用电率”吵过两次,后来定了唯一口径并把定义写进系统,才彻底解决。指标签字这个动作看着形式主义,其实是把责任落到了人头上。
黄志远:想问一下时序数据的存储成本怎么控?我们 SCADA 点位多,秒级数据全留的话,三年下来存储费很吓人。现在是在做降频归档,又怕影响后面的分析。
李慧敏:AI 问数我们试过一轮,确实卡在语义层。业务问”上月三号机组的煤耗”,系统不知道”三号机组”对应哪个编码,”煤耗”又分好几种。看完这篇明白问题不在工具,是我们指标库根本没建好,得回去补课。
吴建国:小企业起步那条路径我认同。我们是区域性新能源公司,十几个场站,去年就是从设备主数据加一套固定看板起步的,投入不大,管理层现在每周例会都在看。不追求一步到位,反而走得稳。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
