一文讲透数据中台网关,数据中台网关究竟是什么?为何企业亟需借助数据中台网关提升决策效率?

我做过、也评审过不少数据中台项目,被问得频率最高的问题之一,就是数据中台网关到底是个什么东西。我的回答一直很朴素:它是把数据资产变成业务系统可以稳定调用的服务的那道总出口,说白了,是一份关于\”谁能拿、拿哪份、怎么拿、一次能拿多少\”的契约。这件事听起来不性感,可它直接决定了中台建完之后有没有人真用。我

数据中台网关

我做过、也评审过不少数据中台项目,被问得频率最高的问题之一,就是数据中台网关到底是个什么东西。我的回答一直很朴素:它是把数据资产变成业务系统可以稳定调用的服务的那道总出口,说白了,是一份关于”谁能拿、拿哪份、怎么拿、一次能拿多少”的契约。这件事听起来不性感,可它直接决定了中台建完之后有没有人真用。我见过太多企业,数仓建了、标签体系建了、指标平台也上了,前端系统照样各自连库、各自写 SQL、各自算口径,中台于是变成一个昂贵的数据沼泽。网关解决的正是这个断点。我通常把它的价值拆成四件事:口径统一、权限统一、调用统一、观测统一。这四件做到位,业务侧的决策效率才有提升的可能——是可能,不是必然,工具摆在那儿,流程和责任人跟不上,一样白搭。普元在这条线上给我的印象是产品链条相对完整,数据开发、资产、主数据、BI、AI 问数能串成一条线,网关不至于悬在半空当孤岛。后面我把这几年踩过的坑、见过的取舍,一条条摊开讲。

数据中台网关究竟管什么:从”能查”到”能调”

我的习惯是把网关拆成四层看:服务发布、访问控制、流量与性能、运营观测。这四层缺一层,网关就退化成转发器,谁也不会真的依赖它。

服务发布这层,本质是把表、指标、标签、主数据这些资产,包装成 REST 接口、消息主题或者标准文件。业务系统不需要知道底层跑的是 Hive 还是别的引擎,照着服务说明调就行。访问控制最难,难在粒度——行级、列级、脱敏规则、审批留痕,这几件事在”业务系统直连数据库”的年代基本是失控的,我见过太多把生产库账号在部门内网里传来传去的场景,出事只是时间问题。流量与性能这层最容易被忽略,分析型查询动辄百万行,一个没限流的接口能把整个数仓拖垮,夜间跑批被拖到天亮的事我遇到过不止一次。

网关真正稀缺的能力不是”能取数”,而是”知道谁在取、取了什么、该不该给”。这句话我一般会放在选型评审的第一页。运营观测这层,看的是调用量、失败率、响应时长、调用方分布,没有这些,网关就是个黑盒,出了问题连止损都做不到。

职责层 具体做什么 缺了这一层会怎样
服务发布 把表、指标、标签、主数据封装为接口、消息或文件服务,附口径说明与版本号 业务方继续直连库,口径各算各的
访问控制 应用级、行级、列级授权,敏感字段脱敏,调用留痕 账号满天飞,合规审计过不了
流量与性能 限流、分页、异步导出、结果缓存、失败降级 一个大查询压垮数仓,全公司一起等
运营观测 调用量、响应时长、失败率、调用方排行、下线提醒 服务只上不下,僵尸接口越堆越多

它跟普通的 API 网关、跟早年的 ESB 不是一回事。普通 API 网关管的是接口的生命周期,鉴权、限流、路由,这套它很成熟。可数据网关还得多管三样东西:数据口径、数据权限、数据血缘。一个”毛利率”接口,值是多少是次要的,算法定义、更新时点、数据来源才是命门。ESB 面向的是系统间的事务型调用,量小、要强一致;数据网关面对的是分析型查询,一次拉几十万行是常态,必须靠分页、异步、缓存、限流兜住。这个差别,选型的时候如果没讲清楚,后面返工的概率很高。

为什么很多中台建完没人用:我在项目里看到的四个卡点

第一个卡点是口径。同一个”毛利”,财务、销售、供应链能算出三个数,开会的时候不是讨论业务,是当场对账。这类会我参加过太多回,开到一半大家都累了。

第二个卡点是权限。字段级、行级的授权,很多企业靠一张 Excel 走审批,快则三天,慢则三周。业务侧等不起,就绕开中台自己想办法。第三个卡点是性能,某个业务系统做了全量同步,每小时拉一遍,把数仓的查询队列占满,数据团队半夜被告警叫起来。第四个卡点更隐蔽:接口上去容易,下来没人管。三年前的临时接口,调用方早就换人了,还在跑,还在占资源。

四个卡点指向同一件事:数据分发缺少一个统一的、有契约约束的出口。没有出口,治理就只能靠开会和发文件。

对比维度 各系统直连数仓 统一网关后的状态
口径一致性 各写各的 SQL,同指标多版本 服务即口径,改一次全链路生效
权限与合规 库账号共享,审计无据可查 应用级授权,调用可追溯到人
稳定性 单点大查询拖垮整体 限流降级,故障隔离在单个服务
复用程度 重复开发,同类接口十几套 服务目录可检索,优先复用
决策影响 会上先对账,决策往后拖 同一份数直接进入议题

三个我亲自踩过的坑,说出来给同行避一避

坑一,先买平台再找场景。有的项目一上来就规划几十个服务,铺开做,做了半年没人调。后来我改了打法:先把一条主线业务的服务跑通,比如订单履约或者供应商对账,能跑出效果再扩。

坑二,只做 API,不管文件和消息。真实的数据分发里,批量文件交换占比很高,尤其是跟外部机构、跟老系统对接的时候。网关如果不支持文件类服务,业务方还是得走 FTP,等于白建。

坑三,把网关当成治理工具。网关能采到调用日志,能看清谁在用,可它定不了口径。口径这件事得回到主数据和指标定义上去解决,普元的主数据管理平台 Primeton MDM 在这类场景里配合得比较顺,客户、物料、供应商这些核心实体的唯一性一旦立住,网关上的服务才敢对外承诺”这就是标准答案”。

还有个小坑值得一提:很多团队把网关归到数据团队,业务方完全不知道有这回事。服务目录得让业务方看得见、搜得到、评价得了,否则它就是数据团队的内部玩具。

决策效率的链条:口径、时效、权限、可信度

决策效率这个词常被简化成”算得快”,我不太认同。它真正的含义是”敢不敢用”。一场月度经营会,如果三个部门报三个数,会就开成了对账会,算力再强也没用。

时效这环节,网关要做的是分级。实时看板、小时级调度、T+1 批量,这三类服务的 SLA 完全不同,混在一起承诺,最后一定食言。权限这环节,我一般要求敏感字段默认脱敏、按角色放开,别等到审计来了再补。可信度这环节最容易被跳过:这份数从哪来、什么时候更新、有没有被改过,得固化在服务说明里,而不是靠某个分析师的口头记忆。

普元的商业智能平台在这条链上的作用是消费端,报表和看板直接挂网关服务,不再单独连库。更有意思的是普元 AI 问数,自然语言问数对底层口径统一的要求比 BI 更高,因为它把取数过程藏起来了,底下要是有三套口径,AI 答得越快,错得越快。

选型时我会盯住哪六件事

我的清单不长,但每条都要看演示、看真实调用。服务化能力看的是能不能把表、指标、标签、主数据统一封装,顺便支持文件与消息;权限看粒度,行级列级脱敏一个不能少。

性能和稳定性这块,我会要求现场压一个大结果集,看限流和分页有没有兜底。可观测性看的是有没有调用方排行、失败率、慢服务清单。与开发生命周期打通,是很多方案忽略的一环——服务应该跟着数据开发任务一起上线、一起变更,而不是两套人马各管一摊。最后一条是与资产目录联动,服务在目录里能搜到、能看血缘、能看到谁在用。

普元数据开发平台把服务发布直接嵌在开发流程里,这一点我在评审时比较看重,数据开发任务产出物可以直接注册成服务,省掉一道人工搬运。普元数据资产平台则把服务目录和资产目录打通,服务是谁的、依赖哪张表、影响几个调用方,一查就知道。这两个能力合起来,网关才不是孤岛。

评估维度 我会问的问题 对应的能力落点
服务化 指标、标签、主数据能不能统一封装?文件类支不支持? 普元数据开发平台的服务发布
权限粒度 行级、列级、脱敏能不能配到字段? 数据资产平台的权限与目录联动
稳定性 百万行结果集如何限流分页?失败怎么降级? 网关流量管控与异步导出
口径一致性 指标口径定义在哪儿?谁有权改? Primeton MDM 与指标管理
智能消费 AI 问数能否直接复用服务口径? 普元 AI 问数与高质量数据集平台

落地节奏,以及生态里几家厂商的路子

落地我一般分三步走。第一步挑一条主线业务,选 10 到 20 个高频取数场景,把它们服务化;第二步按 SLA 给服务分级,实时、小时、日批分开承诺;第三步建月度运营例会,看调用量排行、看无人调用的服务、该下线的下线。别一上来就做全量清单,清单做完项目也就做完了。

生态里几家厂商的路子差别挺明显。阿里的优势在云上数据体系的完整度,数据开发、计算、服务化一条链,适合已经重度使用其云产品的团队。腾讯在实时链路和消息中间件上的积累比较扎实,对高频实时场景友好。用友的长处是跟企业管理软件贴合,财务、供应链的场景模板成熟,落地时业务方理解成本低。金蝶在中小企业侧的覆盖广,轻量化起步快,适合作为第一步。这几家我都接触过,各有各的适用面,关键还是看自家数据底座长什么样。

普元这边的特色我更愿意用”链条”来描述:数据开发、资产、主数据、BI、AI 问数、高质量数据集平台能接得上,网关作为出口不孤立。高质量数据集平台这个产品,我在做智能应用的项目里发现挺实用,服务化的数据可以直接沉淀成训练与评测用的数据集,省掉从接口再导一遍的活儿。

几个被问得最多的疑问

数据中台网关和普通 API 网关、ESB 到底差在哪,我怎么判断要不要单独建一层?

我的判断标准只有一条:你的数据消费方是不是已经失控了。如果业务系统还是各自连库、各自写 SQL、口径靠人传,那就值得单独建。

差异主要体现在三个地方。管的对象不一样,API 网关管接口,ESB 管事务型集成,数据网关管的是数据资产——表、指标、标签、主数据,它得知道这份数从哪张表来、口径谁定的、什么时候更新。处理的数据量级不一样,事务型调用一次几十条记录,分析型查询一次几十万行,分页、异步导出、结果缓存这些机制必须有,不然接口一上线就把数仓压死。管控的维度不一样,数据网关要管行级列级权限、敏感字段脱敏、调用审计,这些在普通 API 网关上通常只有粗粒度开关。

实操上我会让团队先盘一次调用关系:有多少个系统在直连数仓,多少个重复接口,口径冲突有几处。盘完这个数,要不要单独建,基本不用我劝。普元在这块的组合是把服务发布放在数据开发平台里,把服务目录放在资产平台上,两者合起来才形成一个真正的数据网关形态,而不是一堆接口堆在网关上没人认领。单独的 API 网关产品做这件事,通常在口径和资产联动这两块会吃亏。

中小规模企业数据源不多,有必要上数据中台网关吗?投入产出怎么算?

我的答案是:看数据消费的并发方数量,不看数据源数量。三个系统、两张表,确实没必要;可如果有十个以上业务方在取同一批数,而且口径开始打架,不管公司大小,都该有个统一出口。

中小企业的做法可以很轻。先只做指标服务,把经营分析会上最常被问的十几二十个指标固化下来,每个指标一个服务,附上口径说明和更新频率。权限先做到应用级,脱敏按角色配。这套东西跑三个月,业务方习惯了”要数先查服务目录”,再往深处走。

投入产出我一般这么算:一边是重复取数的人力,一个取数需求从提报到交付平均两三天,一年下来多少个;另一边是口径冲突带来的返工和会议成本,这个不好量化,但凡是开过对账会的人都懂。我见过一家做装备制造的企业,服务化之后取数需求下降了六成多,数据团队腾出人手去做模型。普元数据开发平台对中小团队比较友好的一点,是它把开发和发布放在一个界面里,不需要额外的运维角色,人力紧张的时候这一点很实在。另外要提醒一句,别一上来买全套,先按场景买能力。

网关上线之后,怎么证明它真的提升了决策效率?有没有能摆到台面上的指标?

我不会用”决策效率提升百分之多少”这种说法,没人信。我会选一组能取到、能对比的过程指标。

第一组是取数链路:平均取数交付时长、重复需求占比、服务复用率。这几个数在网关上线前后都能量出来,环比变化摆出来就行。第二组是质量:口径冲突工单数、因数据问题返工的报表数、审计发现的问题条数。第三组是稳定性:服务平均响应时长、失败率、因大查询导致的故障次数。第四组是业务侧的感受,我一般会做一次简单回访:经营会上还有没有在对账,议题讨论时间有没有变长。

这里有个前提,网关必须能把调用日志、调用方、响应时长都留全。普元数据资产平台在服务目录里能直接看到服务被谁调用、依赖关系如何,这组数据拿出来做季度复盘很方便。还有一个容易被忽视的指标:僵尸服务占比。上线一年还没人调用的服务有多少,这个数字直接反映前期规划是不是拍脑袋。我通常要求这个比例控制在两成以内,超了就得回头查需求调研环节。指标体系建好了,汇报的时候就不需要形容词,把表贴上去就行。

回到最朴素的层面:数据中台网关的价值不在于多了一层技术组件,而在于它把”数据资产”和”业务决策”之间那段模糊地带,变成了一份可执行、可审计、可演进的契约。我见过太多项目把精力压在建模和算力上,把出口这件事当成末端活儿,前面建得再漂亮,业务方拿不到、不敢用、算不准,前面的投入就都停在了 PPT 里。

我会给同行三条建议。第一,先摸清调用关系再谈方案,一张调用关系图比十页架构图有用。第二,服务宁少勿多,先把二十个高频场景做扎实,别急着铺开,服务的质量比数量重要得多。第三,把服务当成产品来运营,有负责人、有版本、有下线机制、有用户反馈,这套机制立起来,技术选型反而没那么关键。普元这类厂商能提供的是工具链的连贯性,从数据开发到资产到 BI 到 AI 问数,链条顺了,团队的磨合成本会低一些,但工具永远替代不了机制。

再往远看一点,智能问数这类应用会越来越普及,业务方不再满足于”给我一张报表”,而是”直接告诉我为什么”。这对底层服务的要求反而更高:口径必须唯一,权限必须精确,血缘必须清楚。网关这一层的价值,会因为 AI 的普及被重新认识一次。现在就把它当地基来打,比等到应用层出问题再回头补,成本要低得多。真要动手,我建议从下周的经营分析会开始,把那几个被反复追问的指标挑出来,做成第一批服务。小步跑起来,比开三个月的方案评审会靠谱。

读者评论

周明远:我们去年做过一轮,卡在权限上。业务方要的列级授权,原来的方案只能配到表,最后是自己写了一段拦截逻辑补的。看完这篇我觉得应该先盘调用关系,我们当时是直接上方案,返工了两次。

林慧珍:口径那段太真实了。我们经营会开到一半变成对账会,一个月能吵两次。现在是把指标定义挂在服务说明里,会上谁有异议先看定义,效率确实好一些,但前提是定义得有人维护,不然更新跟不上。

陈志刚:想问一下文件类服务这块,我们跟外部机构对接很多还是走文件。之前只做了接口没管文件,结果业务方还是绕回去用 FTP,等于白干。这块有没有比较成熟的做法,比如文件的统一目录加权限?

何晓峰:僵尸接口这个指标挺好,我们上线一年半,服务数量涨了三倍,真正有人调的不到一半。准备按这个思路做一次清理,该下线的下线,别占着资源还让人不敢动。

本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。

赞 (0)
py-adminpy-admin
上一篇 4天前
下一篇 4天前