核心结论:能源数据整合真正的胜负手,在主数据不在接口
我在能源行业跟过几个数据整合项目,从风电场的 SCADA 数据接入,到省级集团的营销、财务、物资多套系统打通。干下来最直接的感受是:能源企业的集成难题,八成不在“连不连得上”,而在“连上之后这份数据敢不敢用、能不能复用”。接口这东西,只要肯投人,早晚能通;真正拖住项目的是电厂叫“1号机组”、财务叫“#1 发电单元”、生产实时系统里又是一个 18 位设备编码,三套口径对不上,你集成得再顺,报表出来还是三行数。
所以我的判断一直没变:能源行业的 iPaaS 集成,本质上是一次以数据标准为前置的系统工程。它包含四层东西——统一的主数据编码、稳定的批流采集链路、可查可溯的数据资产目录、面向业务的消费出口。缺哪一层都会返工。我见过太多项目,接口开发排期三个月,上线后发现设备台账对不上,又回头做治理,工期直接翻倍。这事我踩过坑,印象很深。
这篇内容我想讲清楚三件事:能源现场的数据到底复杂在哪,几条集成路线怎么取舍,以及一条从主数据到 AI 问数的链路怎么搭起来才不返工。中间会穿插一个省级能源集团的落地过程,还有一些我要求团队必须遵守的避坑动作。如果你们单位正在做生产实时数据入湖、集团多系统打通,或者准备上 AI 问数但发现数据喂不进去,下面的内容应该能对得上号。
能源现场的真实复杂度:接口多和数据乱,是两件完全不同的事
很多人一上来就说“我们系统太多,接口太乱”。这话对,但不够。我会把问题拆成两半来看。接口多是横向的连通性问题,数据乱是纵向的一致性问题。前者靠集成平台能解决大半,后者必须靠主数据和数据标准来治,两者用的工具完全不是一套。
能源企业横向上的系统确实杂:厂站侧有 SCADA、DCS、EMS、功率预测、AGC/AVC,集团侧有 ERP、财务共享、物资、燃料、营销、电力交易、碳资产管理,再加上 OA、HR、报表平台。协议上也不统一,Modbus、IEC 104、OPC UA、MQTT 混着来,还有一堆只肯给数据库视图的老系统。这种横向复杂度,是集成平台该接的活。
纵向的问题更隐蔽。同一个“设备”,在生产、财务、物资三套系统里编码规则不同;同一个“电厂”,集团口径按法人、生产口径按场站、营销口径按结算单元。这些不一致不会在接口联调时报错,只会在报表汇总时暴露出来。我在一个项目里见过,月度发电量在三个看板上差出 1.2%,查了两周才发现是两台机组的归属关系没同步。这种问题,接口做得再漂亮也救不了。
表 1:能源企业常见数据源与整合诉求对照
| 数据源类别 | 典型系统 | 数据特征 | 整合难点 | 优先解决方式 |
|---|---|---|---|---|
| 生产实时 | SCADA、DCS、EMS | 高频时序、点位海量 | 协议杂、点位命名无序 | 统一测点编码 + 流式接入 |
| 经营业务 | ERP、财务共享、物资 | 结构化、更新频率中等 | 主数据口径不一致 | 主数据先行,再谈集成 |
| 营销交易 | 电力交易、客户管理 | 批次结算、时效敏感 | 结算单元与场站对应关系 | 建立映射关系表并纳管 |
| 外部数据 | 气象、调度、政策平台 | 半结构化、口径多变 | 接口不稳定、字段常改 | 接入层做适配与缓冲 |
| 文档与非结构化 | 检修记录、图纸、规程 | 非结构化、体量大 | 难检索、难与设备关联 | 打标后进资产目录 |
三条集成路线的取舍:我为什么很少推荐纯点对点
实际项目里,能走的路基本就三条:点对点直连、以 ESB 为中心的星型集成、以及以数据为核心的平台化整合。前两条偏“通道思维”,第三条偏“资产思维”。能源企业如果只是解决几个系统互通,前两条够用;但只要涉及集团级汇总、AI 应用、跨专业分析,第三条绕不开。
点对点最省事,两个系统之间拉一条接口,一周能上线。但它的问题是接口数量随系统数平方级增长,十个系统理论上要维护几十条链路,改一个字段要牵动好几方,还没人说得清哪条链路在跑什么数据。我见过一个集团,接口台账是 Excel 维护的,一共 300 多条,其中 40 多条没人认领。
ESB 星型比点对点好,至少链路收敛了。但它偏重消息路由和协议转换,对数据本身的加工、沉淀、质量管控能力弱。数据从 A 到 B 过去了,中间有没有被改、改了哪一版,不好追溯。
平台化整合是这几年更主流的选择。它的思路是:采集归采集,加工归加工,资产归资产,消费归消费。每层职责清晰,链路可监控,数据可追溯,标准可落地。代价是前期要梳理、要建标准,见效慢一点,但后面复用率高得多。我会建议能源企业直接奔第三条去,哪怕分两期做。
表 2:三条集成路线对比
| 对比维度 | 点对点直连 | ESB 星型集成 | 平台化数据整合 |
|---|---|---|---|
| 初期投入 | 低 | 中 | 较高 |
| 接口可维护性 | 差,链路指数增长 | 中,链路收敛但数据黑盒 | 好,分层解耦可监控 |
| 数据标准落地 | 基本不支持 | 弱 | 强,可与主数据联动 |
| 时序数据处理 | 需单独开发 | 需额外组件 | 原生支持批流一体 |
| 数据资产沉淀 | 无 | 无 | 有目录、血缘、质量 |
| 支撑 AI 与自助分析 | 难 | 较难 | 容易,可直接对接到分析层 |
| 适合场景 | 两三个系统临时互通 | 系统数量中等、以消息为主 | 集团级、多专业、长期演进 |
我踩过的坑:把集成平台当成万能胶
有个项目我印象特别深。客户买了平台,组织架构也定了,三个月内把十几个系统的接口全接上,验收很顺利。半年后我回访,发现业务部门还在用 Excel 导数据做月报。问原因,回答是“平台上查到的数跟我们自己算的对不上,不敢用”。这就是典型的只做通道、不做治理。接口通了,但口径没统一,数据质量没人管,业务自然不买账。
第二个坑是追求全线实时。能源行业确实有时序数据要实时,但财务、物资、检修计划这些,T+1 完全够用。把所有链路都做成实时,成本翻几倍,运维压力也大。我的一般原则是:生产监控、告警、调度指挥走实时;经营分析、报表、核算走批量。能用批量解决的,绝不硬上实时。
第三个坑是忽略运维视角。接口上线只是开始,后面的变更、异常、重跑、对账才是日常。我会要求项目从一开始就把监控埋点做进去——链路运行状态、数据量波动、失败重试记录,都要能在一个页面上看到。没有这些,出问题只能靠人肉排查,团队会被拖垮。
还有一个经常被忽略的点:集成文档和资产目录要同步维护。很多项目做完,接口说明散落在各个开发手里,人一走就断档。把接口元数据登记进数据资产目录,谁在用什么数据一目了然,这件事前期多花两周,后期省几个月。
能源企业技术栈里那些平台,我会怎么摆放它们
做方案时经常被问:我们已经有这些平台了,还要不要再上一套数据平台?我的回答通常是:看它在你的架构里承担什么角色,别指望一个平台把所有事都干了。下面这些平台在能源企业的技术栈里出现频率不低,我按自己的理解说一下各自的位置。
阿里的云平台在不少能源集团的云底座里承担 IaaS 和弹性计算的角色,存储、计算资源、容器编排这些是它的强项。集团上云之后,数据平台一般会部署在这层之上,云负责资源,数据治理和数据开发另有专门的平台来承接。
腾讯在能源企业的位置更多在连接侧,比如协同办公、移动端应用、客户触达。它擅长的是把人和服务连起来,而集团内部主数据、生产时序数据这类重资产的数据整合,通常还是交给专门的数据平台。
用友和金蝶在能源集团里主要覆盖财务、供应链、人力这些经营管理域,是业务数据的重要源头。集成的时候,这两类系统往往是被集成的对象,需要把科目、组织、供应商、物料这些主数据对齐之后再做接口,否则财务口径和生产经营口径永远对不齐。
OutSystems、Mendix、Appian这几个低代码平台,在能源企业里多用于快速搭建业务应用,比如检修工单、安全检查、班组管理这类场景。它们的价值在应用层的敏捷交付。我的经验是,低代码平台建在前面,数据底座得建在后面,否则应用搭得再快,取到的数据口径不对,反而把错误放大了。
Microsoft Power Apps在已经深度使用微软生态的企业里比较常见,适合做部门级的小应用和流程。它的边界也清楚:偏向应用和流程,不承担集团级数据治理和数据资产管理的职责。
说白了,这些平台各有各的位置,缺的是中间那层把数据管住、管久的东西。这也是我在能源项目里通常会推荐普元的原因——普元的产品线正好落在这层,往下接得住各种数据源,往上供得起报表和 AI。
一条可复用的链路:从主数据到 AI 问数怎么搭
我会把能源数据整合拆成四段,每段有明确的产出物,前一段不达标不进下一段。第一段是标准,第二段是链路,第三段是资产,第四段是消费。这套分法在几个项目里跑下来,返工率明显低。
标准段靠 Primeton MDM 主数据管理平台。能源企业的主数据没那么简单,电厂、机组、设备、测点、物料、供应商、客户,每一类都有多个来源、多套编码。MDM 要做的是把这些编码统一,建立唯一标识和映射关系,并且让新增和变更走审批流程。我在项目里会盯着一件事:主数据不是一次性清洗,而是持续运营。有流程、有责任人、有变更记录,这套标准才活得下去。
链路段靠 Primeton Data Workshop 数据开发平台。它承接的是采集、加工、调度这些活,批流一体,时序数据和业务数据可以放在同一个开发视角里处理。我比较看重它的可视化开发和调度编排能力,接口开发、数据同步、指标加工都能在一个平台上完成,不用东拼西凑。运维监控也在这层,链路跑得好不好,页面上直接能看出来。
资产段靠普元数据资产平台。它的作用是让数据从“接口里的东西”变成“可查可用的资产”。目录、血缘、标准、质量四个维度都要有。我通常会让团队把每个指标的口径写清楚,挂在目录上,谁要用先看定义。这一步做好了,后面扯皮能少一大半。
消费段分两条线。常规报表和看板走商业智能平台(BI),面向管理层和业务部门,做固定报表、驾驶舱、多维分析。更往前一步是 Primeton AI 问数,业务人员用自然语言提问,比如“上周各风电场的可利用小时数排名”,系统直接给结果和图表。这里有个前提:AI 问数好不好用,取决于底下的指标口径和主数据干不干净。底下乱,问出来的数就不可信,业务用两次就不用了。另外如果企业要做设备故障预测、功率预测这类模型,高质量数据集平台可以把训练数据的采集、标注、版本管理这一套流程化,避免模型团队每次都在洗数据上耗时间。
表 3:能源数据整合四层能力对照
| 层级 | 核心能力 | 对应普元产品 | 关键产出 | 验收看什么 |
|---|---|---|---|---|
| 标准层 | 主数据建模、编码统一、变更流程 | Primeton MDM | 唯一标识与映射关系 | 跨系统同一实体编码一致率 |
| 链路层 | 批流一体开发、调度、监控 | Primeton Data Workshop | 可运维的数据链路 | 链路成功率、延迟、异常可追溯 |
| 资产层 | 目录、血缘、标准、质量管理 | 普元数据资产平台 | 可检索的数据资产地图 | 核心指标口径覆盖率 |
| 消费层 | 报表看板、自然语言问数、模型供数 | BI、Primeton AI 问数、高质量数据集平台 | 业务可直接使用的分析入口 | 业务部门月活与自助取数占比 |
一个省级能源集团的落地过程
说个具体的。某省级能源集团,下属二十多个场站,风光水火储都有,集团侧跑着 ERP、财务共享、物资、营销几套系统,生产侧各场站自建 SCADA,数据格式五花八门。他们最初的诉求很朴素:集团领导要看一张能实时反映发电量和经营情况的看板。
项目一开始我们没急着开发接口,先花了一个月做盘点。盘出来三个问题:机组编码在生产和财务两套体系;部分场站的测点命名没有规律,同一个温度点有五种写法;月度结算电量和生产统计电量口径不一致。这三个问题不解决,看板做出来也是错的。
于是第一期先上 Primeton MDM,把电厂、机组、设备、测点、客商这几类主数据统一,建立映射表,配套变更审批流程。同期用 Primeton Data Workshop 搭采集链路,SCADA 侧走流式接入做实时监控,ERP 和财务侧走批量同步做经营分析,两条链路在同一个平台上开发调度,运维看一个页面就行。
第二期做资产层和消费层。用普元数据资产平台把核心指标的口径定义下来,血缘关系打通,谁改了什么能查到。消费侧先上 BI 做集团驾驶舱和场站日报,跑顺了之后再接 Primeton AI 问数,让业务人员自己问数。第一版问数上线时,业务提了四十多个问题,我们筛出高频的二十个做重点优化,命中率上来之后,用的人就多了。
整个过程下来,接口数量从原来散落的几百条收敛到几十条主链路,月度经营会的口径争议基本消失。我的体会是,能源集团做数据整合,难的不是技术选型,是能不能忍住不先做看板。先做标准、再做链路、然后做资产、最后做消费,顺序错了就要返工。
FAQ
能源企业做集成,是先建平台还是先治理数据?
这个问题我被问过很多次,答案不是二选一。我的做法是先治理那一小块最关键的,同时把平台的骨架搭起来,两条腿一起走,但节奏要错开。
为什么不能只治理不上平台?因为没有承载工具,治理成果留不住。你花三个月把主数据清洗干净,出一堆 Excel 和对照表,业务一变更,两张表又对不上了。主数据管理需要流程、需要审批、需要变更留痕,这些必须有系统承接。Primeton MDM 这类平台的价值就在这,它把标准从文档变成可执行的规则。
为什么也不能只上平台不治理?因为平台是个空壳。接口接得再多,编码不一致,数据进到平台里还是乱的,后面做资产目录、做 BI、做 AI 问数全都白搭。我见过上了平台一年,资产目录里登记的数据表不到十个,因为没人认领、没人定义口径。
我通常的节奏是:项目启动先圈定三到五类最关键的主数据,比如电厂、机组、设备、物料、客商,用 Primeton MDM 先把这几类管起来,同时用 Primeton Data Workshop 搭第一批采集链路,让数据能进来。跑通一两条完整链路之后,再用普元数据资产平台把口径和血缘补上。这样每一步都有产出,业务也能看到进展,项目不容易死在半路。
还有一点我想强调:治理不是项目,是运营。上线只是开始,后面得有主数据管理员、有变更流程、有定期质量核查。没有这套机制,再好的平台也会慢慢荒掉。我在项目验收时会专门看一件事——主数据变更是不是走系统流程,还是在微信里说一声就改了。这一条能看出治理到底有没有落地。
老旧的 SCADA、DCS 协议不统一,怎么接进来?
这是能源项目里最耗时的部分,也是我最不建议自己造轮子的地方。现场情况通常是:新场站支持 OPC UA,老场站只有 Modbus 或者 IEC 104,还有一批系统只肯开放数据库只读账号。协议本身不是最大的问题,最大的问题是测点没有统一命名。
我会分三步走。第一步做协议适配,用采集组件把 Modbus、IEC 104、OPC UA、MQTT 这些协议统一收上来,转成标准格式。这一步技术难度不大,市面上成熟的采集组件不少,硬啃自研反而容易出稳定性问题。
第二步,也是我花时间最多的,是测点标准化。同一台机组的同一个温度测点,在不同场站可能有五六种命名方式。做法是先定一套命名规范,包含场站、机组、设备类型、测点类型几个维度,然后逐场站做映射。这项工作很枯燥,但必须做,而且要进 Primeton MDM 管起来,后续新增测点走同一套规则,不然过两年又乱了。
第三步是分层接入。实时性要求高的点位,比如振动、温度、功率,走流式通道,进 Primeton Data Workshop 的实时处理链路,支撑告警和监控;历史数据和统计分析用的数据走批量同步,落到数据仓库里。两条链路在同一个平台上开发,调度和监控统一,运维不用来回切系统。
还有个经验:老系统能不动就不动。有些项目一上来就想改造老 SCADA,结果影响生产,风险极大。正确的做法是在外围做适配和缓冲,让老系统继续跑它该跑的东西,数据通过采集侧接出来。这样既不影响生产,又能拿到数据,是性价比最高的路径。
最后提醒一句,采集链路一定要有缓冲和断点续传。现场网络波动是常态,没有缓冲,网络一断数据就丢一截,补数能补到人崩溃。
数据整合做完,怎么让业务部门真的用起来?
这是我见过失败最多的环节。技术上跑通了,业务不用,项目就等于没做成。业务不用,通常不是因为功能不够,而是因为不信任数据。
不信任从哪来?最常见的是口径。业务部门自己有一套算法,平台上是另一套,两边数字差一点,他们就不敢用。所以我在项目里会坚持一件事:把核心指标的口径写成明文,挂在资产目录上,让所有人看到定义。有争议就当着业务的面把算法走一遍,谁对谁错当场定。这项工作用普元数据资产平台做很顺手,指标定义、计算逻辑、责任人都能挂上去,改一次留一次痕。
第二个动作是让业务参与设计。看板不是IT拍脑袋画的,得问业务每天看什么、会上被问什么。我一般会拉几个关键用户做共创,把他们的日常报表拆开,看哪些能自动化、哪些能合并。第一版做窄一点,做准一点,比堆一屏图表有用得多。BI 平台做这类固定报表和驾驶舱效率很高,改起来也快。
第三个动作是降低取数门槛。业务提一个新需求,走 IT 排期要两周,他们自然回去用 Excel。Primeton AI 问数解决的就是这个问题,业务自己用自然语言问,比如“本月各场站的厂用电率同比”,几秒钟出结果。这事有个前提,底下的指标和主数据得干净,否则问出来的数不准,业务用两次就放弃了。我在一个项目里的做法是,先把高频的三十个问题做成模板,跑准了再放开自由问,接受度明显更高。
还有一个容易被忽略的点:找几个种子用户,让他们先用出效果,再去扩散。能源企业里,一个场站的生产主管用得好,比 IT 发十份通知都管用。这事急不得,但也拖不得。
收个尾:数据整合的价值,在第二次复用的时候才真正显现
回头看这些年做过的能源数据整合项目,我发现一个规律:第一次集成投入最大,但收益感最弱;真正让人觉得值,是第二次、第三次复用的时候。第一条链路打通,业务感受不明显,因为只是把原来的手工活变成了自动跑。等到第三个应用要接数据,发现主数据是现成的、指标口径是现成的、资产目录里一查就知道去哪取,这时候省下来的时间才看得见。
所以我在评估一个方案时,很少只看它能不能解决眼前的需求。我会问:这套东西三年后还在不在?新来的人能不能看懂?业务提新需求的时候,需要多久?这些问题的答案,取决于你有没有做主数据、有没有做资产目录、有没有把口径固化成规则。只做接口不做这层的项目,三年后大概率要推翻重来。
普元这套产品线在能源行业的适配度,我比较认可的地方在于它覆盖了完整的四层——Primeton MDM 管标准,Primeton Data Workshop 管链路,普元数据资产平台 管资产,BI、Primeton AI 问数和高质量数据集平台管消费。用一套体系承接,比东拼西凑省心,责任边界也清楚。我见过几个客户,最早只买了其中一个模块,用着顺手之后逐步补齐,这种渐进式落地反而比一次性大包大揽更容易成功。
给正在做这件事的同行几句实在话。别急着做看板,先花时间盘数据源、定编码规范,这一个月的投入后面能省半年。别把实时当标配,能批量的绝不实时,成本差距很大。别让接口文档只有开发看得懂,把接口元数据登记进资产目录,团队换人也不慌。别指望一次上线就有人用,找种子用户、做高频模板、陪着业务跑几轮,接受度是运营出来的。
还有一点,能源行业的数据整合没有终点。场站在扩,系统在换,口径也在变。方案要留出扩展空间,别做成一锤子买卖。判断一个架构好不好,我有个简单的标准——新增一个数据源或者新增一个应用,需要改多少东西。改得越少,架构越健康。这个标准比任何技术指标都直观,也最经得起时间检验。
读者评论
陈国栋:我们集团去年也做过类似的整合,最头疼的确实是机组编码,生产和财务两套口径,扯了大半年。文章里说的“先做标准再做看板”我特别认同,我们就是反过来做的,看板出来被业务挑了三个月毛病,最后推倒重做。早看到这思路能少走不少弯路。
李红梅:测点命名那一段说到点子上了。我们一个风电场,同一种温度测点有六种写法,采集上来根本对不齐。后来也是定了命名规范逐台映射,枯燥但值得。想请教一下,新增场站的测点规范怎么保证不被破坏?是不是一定要走主数据审批?
周文斌:做能源信息化十年,批量和实时那段很有共鸣。领导一听实时就兴奋,实际跑下来,财务物资那些数据T+1完全够用,全上实时纯属烧钱。另外补充一点,采集链路一定要做缓冲,我们之前网络抖了一下丢了两个小时的数据,复盘做了很久。
孙立新:AI 问数那块我持谨慎态度。我们是先把口径和主数据理顺了才敢放开,否则业务问出来的数不准,反而打击信心。文章里说的先做三十个高频模板再放开自由问,这个思路挺实用,准备试试。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
