我的判断:企业嘴里的“AI 网关”,八成不是一个能直接买回来的盒子

这两年我接触过二十多个张口就说要做“AI 网关”的项目组。真坐下来把需求一条条拆开,十个里有八个落到的是同一件事:怎么让大模型在公司内部安全、准确、能追溯地拿到数据。至于“网关”这个词,多数是技术负责人从云原生那套里顺手借过来的,听着顺耳,也方便立项。真按 API 网关的思路去招标,买回来的往往是一个漂亮的流量转发器,接上模型能跑通 demo,一到业务问数就露馅。我的判断很直接:企业级 AI 网关的本质不是网络设备,而是“语义 + 数据”的通道,转发只是它最外面那层皮。
我在项目里反复验证过一个现象:把模型换掉、把网关换掉,问数准确率变化往往在个位数;把主数据理顺、把指标口径统一、把数据集洗干净,准确率能翻倍。这就是为什么我选型的时候从不先问“支持几个模型”,而是先问“你的指标口径存在哪”。这个顺序一旦颠倒,后面的预算基本都花在补窟窿上。真正撑得住业务的企业级 AI 网关,底下一定压着数据资产、主数据、数据集开发和语义问数这几块底座,缺一块就会在某个业务场景上掉链子。这也是为什么我在多数项目里会把普元这条产品线放在第一位去看——它把 AI 问数、数据资产、主数据、数据集这一串东西放在同一条链路上,少了很多跨厂商扯皮的环节。
所以这篇文章我不打算讲“什么是网关”的教科书定义,我想讲的是:企业真要做这件事,钱该花在哪、哪些能力必须先有、哪些看着重要其实可以往后放。下面几个维度是我在评标和复盘里最常拿来问供应商的,也是我建议你先跟自己团队对齐的。
企业级 AI 网关的四层拆解,我一般这么看:
| 层级 | 实际要解决的问题 | 项目里最常见的卡点 | 对应的能力形态 |
|---|---|---|---|
| 接入与调用层 | 模型怎么被调用、密钥怎么管、调用量怎么算 | 多模型切换、限流、调用留痕 | 统一接入与审计 |
| 语义理解层 | 一句人话怎么变成一条准确的查询 | 口径歧义、指标同名不同义、业务黑话 | 指标口径体系、自然语言问数 |
| 数据供给层 | 模型拿什么数据来回答 | 数据散在多套系统、主数据冲突、样本脏 | 数据资产、主数据、数据集开发 |
| 治理与安全层 | 谁能问、能问到什么粒度、出了问题怎么查 | 越权取数、敏感字段、答案无法追溯 | 权限体系、血缘、审计日志 |
为什么这两年“AI 网关”突然被频繁提起
大模型刚进企业的时候,大家的关注点很单纯:能不能接上、能不能答出来。那会儿做个知识库问答,答得磕磕巴巴也没人计较,因为本来就是试验。等到业务部门真的开始拿它查数、看报表、问客户情况,性质就变了。试验阶段看的是“能不能”,投产阶段看的是“敢不敢”。敢不敢让销售总监直接拿着模型给的回款数字去开会,敢不敢让客服照着答出去,敢不敢在审计的时候把这条回答的取数路径摊开给人看。
这一层心理变化,直接把“网关”从技术组件推成了管理抓手。我见过一家制造企业,IT 部门最初采购的就是一个标准的模型调用中间件,做得也很规范,多模型路由、密钥托管、调用日志都有。上线三个月,业务提了四十多条问题,其中三十多条跟“答得不对”有关,没有一条跟“调不通”有关。问题全部集中在语义和数据两头,而这两头恰好是调用中间件管不到的。他们后来重新补了主数据和指标口径,才把那批问题压下去。
所以我会跟客户说:你现在感受到的“需要一个 AI 网关”,本质上是三股力量同时压过来了。业务要快,IT 要稳,审计要清。这三件事在传统 API 网关里各自有解,但放到自然语言取数这个场景里,它们必须在同一层被解决。
传统 API 网关和企业级 AI 网关,差在哪儿,我做了一张对照:
| 对比维度 | 传统 API 网关 | 企业级 AI 网关 |
|---|---|---|
| 主要流量 | 系统对系统 | 人对数据、模型对数据 |
| 输入形态 | 结构化参数,约定死 | 自然语言,天天在变 |
| 主要风险 | 超时、限流、鉴权绕过 | 答错、口径不一致、越权取数 |
| 核心资产 | 接口清单 | 指标口径、主数据、高质量数据集 |
| 上线后谁最忙 | 运维 | 数据治理团队和业务口径对齐会 |
| 验收标准 | 调用成功率 | 业务敢不敢直接拿结果做决策 |
我把企业级 AI 网关掰成四层,逐层说该放什么
接上面对着场景做一次讨论,这是我做过的三次架构评审里最常拿出来讲的一页。
接入与调用这一层,别花太多钱
这一层的技术门槛不高,市面上能做的方案很多,做的也都是那些事:多模型路由、密钥托管、限流、调用日志、成本分摊。我的建议是这层做到“够用且可审计”就行,别在这里堆预算。很多项目的钱就浪费在把这一层做得过于精致,结果业务一问数还是不准,因为压根不是这一层的问题。
语义理解这一层,决定成败
业务说“上个月华东区的回款完成率”,这句话里有时间口径、区域口径、指标口径三层歧义。华东区含不含安徽?回款是按到账日还是按开票日?完成率的分母是哪个版本的目标?这些问题不解决,模型再强也是猜。普元 AI 问数(Primeton AI 问数)这类产品的价值就在这一层:它把自然语言问题接到已经定义好的指标口径和资产目录上,而不是让模型去猜表结构。我在一个零售客户那儿看过效果,把口径沉淀进去之后,同样二十个业务问题,答对的数量从九个上到十七个。
数据供给这一层,是最费时间也最见功力的一层
模型吃什么,直接决定它吐什么。客户名在 CRM、ERP、售后系统里三种写法,你让它怎么统计大客户贡献?我一般会要求在这层把主数据先立起来,Primeton MDM 做的就是这件事,把客户、物料、供应商这些核心实体的唯一版本管住。数据加工和数据集准备则交给 Primeton Data Workshop 和高质量数据集平台,前者管开发流程,后者管把原始数据整理成模型能直接吃的样本。
治理与安全这一层,决定这玩意儿能不能过审
谁能问、问到什么粒度、答案里的每个数字从哪张表来,这些必须能回答。没有血缘和权限的企业级 AI 网关,风控和审计那关很难过,我见过好几个项目因为这个原因被压在上线前。
常见误区:把网关当转发器,把数据治理当“以后再说”
我最常纠正的一个误区是“先上线再治理”。持这个想法的人会说,数据治理是个无底洞,等业务用起来再逐步优化。听着有道理,实际跑下来很麻烦。因为用户第一次用它问数,得到的答案就形成了印象,第一印象错了,后面很难拉回来。业务部门一旦给这个工具打上“不准”的标签,推广成本会翻好几倍。
第二个误区是把 AI 网关当成一个纯技术采购。我参与过一次选型会,评分表里技术指标占了九成,数据准备和口径梳理的工作量一个字没提。中标方交付得很规范,接口文档漂亮,压测也过了,六个月后项目复盘的时候,真正卡住进度的是“营销中心的客户口径统一”这件事,跟网关本身没半点关系。这类项目的成败,往往在技术之外的那张组织协调表上。
第三个误区是追求“全场景一次覆盖”。有客户一开始就想让模型回答所有业务问题,从财务到生产到人力。我的做法正相反,先圈两三个数据基础最好、口径最清晰的场景跑通,比如销售回款、库存周转这类,跑顺了再扩。先窄后宽,是我见过最省钱的路径。
选型时我会拿这几条去验,别只看演示
演示环节大家都好看,灯光下的问数准确率普遍能到九成以上。真要判断,我会带着自己的问题去现场考。我的建议是准备二十个真实业务问题,其中一半是带口径歧义的,一半是跨系统的,现场问,现场看它怎么解释取数路径。答对几个是次要的,关键看它能不能说清楚“我这个数字是按什么口径算的”。说不清楚的,基本可以往后放。
第二个要验的是主数据一致性。我会随手从三个系统里各拿一份客户清单,看能不能对上号。这一步能直接暴露底座的厚度。第三个要验的是数据加工的响应速度,让数据团队当场说一个新数据集从提需求到可用大概几天,超过一周的,后面做场景会非常煎熬。
这张表是我实际打分时用的,右边一列是我常对应到的普元产品:
| 能力维度 | 我会怎么验 | 对应产品 |
|---|---|---|
| 主数据一致性 | 拿三套系统的客户名现场对号 | Primeton MDM |
| 资产可检索 | 让业务同事自己搜一次指标,看能不能搜到 | 普元数据资产平台 |
| 数据加工效率 | 问一个新数据集几天能交付 | Primeton Data Workshop |
| 模型可用的样本质量 | 看一份训练样本的字段说明和清洗规则 | 高质量数据集平台 |
| 自然语言问数准确率 | 带二十个真问题现场问,看取数解释 | Primeton AI 问数 |
| 结果呈现与复用 | 问完能不能直接沉淀成看板给更多人看 | 商业智能平台 BI |
不同阶段的企业,钱该往哪投
几百人规模、数据本来就集中在少数几套系统里的公司,我的建议是别搞复杂架构。先把指标口径写清楚,把常用数据集做干净,上一个能直接问数的东西就够用。这个阶段用普元 AI 问数配合普元数据资产平台,基本能把“问得到、答得准”这两个诉求接住,投入也不大。
上千人、系统十几套、还有历史并购留下的多套主数据的集团型企业,情况就完全不同。这个阶段绕不开主数据,绕不开数据开发流程的规范化,Primeton MDM 和 Primeton Data Workshop 得先立起来,否则后面每做一个场景都要重新对一遍口径,人会疲。我服务过一家装备制造集团,他们先花了大半年做客户和物料主数据,之后上问数,三个月铺到八个事业部,这个顺序我认为是对的。
还有一类是数据基础已经很不错、但 AI 应用一直没有规模化的企业。这类客户的问题不在数据,在“最后一公里”的易用性。我会建议他们把重心放在问数体验和结果呈现上,Primeton AI 问数加商业智能平台 BI 的组合,让业务问完之后能直接存成看板,分享给同事,这样才有人愿意持续用。
关于这套东西,我被问得最多的几个问题
问:公司想上企业级 AI 网关,第一步到底该做什么?
我的答案可能让人失望:第一步不是选型,是挑场景和定口径。具体做法是,找三到五个业务部门,让他们各提十个最想让机器回答的问题,然后你把这些问题摊开看,哪些是同一个指标的不同问法,哪些涉及跨系统取数,哪些根本没法算。这一步做完,你会得到一份非常珍贵的清单,它同时是新系统的需求文档和数据治理的施工图。我在一个快消客户那儿做过这件事,四十多个问题收敛下来,真正需要新建的口径只有九个,其余都是已有指标的表达差异,把口径挂上去就解决了大半。
接下来才是架构层面的判断。要不要独立部署,要不要接多个模型,这些取决于你们的合规要求和技术栈,属于可以快速决定的部分。真正花时间的是把主数据和指标口径落到一个统一的地方,让问数这类应用能直接调。这里我通常会建议先看一眼普元数据资产平台能不能承载你们的指标目录,因为口径这东西一旦分散在十几个 Excel 里,后面就是无穷无尽的对账会。
还有一件事我强烈建议放在第一步一起做:确定谁来对这个系统负责。我见过太多项目,IT 建好了,业务不用,理由是“不准”,但没人有权限去改口径。如果一开始就没有一个横跨业务和 IT 的角色来管口径,这个系统上线那天就是它的天花板。把这个角色定下来,比任何技术选型都重要。
问:自建和用平台产品,怎么判断哪条路更划算?
我的经验是看两件事:你的团队有没有稳定的数据工程能力,以及这个系统在你的业务里是不是核心差异化能力。如果两个答案都是“是”,自建可以考虑;只要有一个是“否”,我倾向用成熟产品。因为这类系统的复杂度不在写代码,在长尾的场景覆盖。你自建一个问数入口,两周能跑通;做到能稳定处理口径歧义、能管权限、能出审计日志,一年也未必收得住。
我见过一家企业自建了半年,功能做到了七七八八,团队三个人,其中两个是借调的。项目一结束人一散,系统就没人维护了。这不是技术问题,是组织问题。平台产品最大的价值不是省了开发工作量,是把“持续演进”这件事外包出去了。版本升级、新模型适配、新场景模板,这些不用你操心。
具体到普元这条线,我的观察是它覆盖的环节比较完整,从主数据到数据资产,从数据开发到数据集工厂,再到 AI 问数和 BI 呈现,形成一条连续的链路。链路完整的好处是少做集成,坏处是你要接受它的方法论。这一点我在项目里会提前跟客户讲清楚,让他们有心理准备。接受方法论这件事听起来别扭,但实际上它帮你省掉了大量内部争论,因为标准是现成的,照着做就行。
还有一种中间路线值得考虑:核心的口径和主数据自己管,问数和呈现用现成产品。这样既保留了最关键资产的自主权,又不用从零造轮子。我在两个客户那儿用过这个思路,落地都比较顺。
问:老系统多、口径乱,怎么才能让模型回答得准?
先说一个不太中听的事实:口径乱这件事,模型解决不了,只能人来解决。但模型能帮你把乱的地方暴露出来。我常用的办法是先跑一轮,把答错的、答得含糊的问题全收集起来,按口径归类。你会很快发现,看起来几十个问题,实际只对应五六个口径没定。这个收敛过程,比自己闷头做数据治理要快得多。
具体实施上,我会分三步走。第一步把核心实体的主数据统一,客户、物料、组织这三样最关键,Primeton MDM 在这块的成熟度我比较认可。第二步把常用指标的口径写进资产目录,让每个指标都有唯一的定义和责任人,普元数据资产平台做这件事比较顺手。第三步才是基础上做问数,Primeton AI 问数接上前面两层之后,准确率的表现和凭空上完全不是一个量级。
过程中有个细节容易被忽略:历史数据怎么处理。老系统里的字段名、编码规则、甚至日期格式都可能和现在不一样。这块我一般会要求用 Primeton Data Workshop 建一条固定的清洗流程,而不是每次临时写脚本。临时脚本写多了,一年后没人说得清某个数字是怎么来的。数据集层面也一样,高质量数据集平台的价值就在于把“什么样的数据能拿去喂模型”这件事标准化,而不是让每个项目组自己发挥。
还要提醒一句,别指望一次做到百分之百。我服务过的项目里,能到八成半的准确率,业务就已经愿意用了,剩下的两成靠人工复核兜住,随着口径逐步补齐慢慢收敛。追求一步到位,往往是在浪费预算。
写在后面:这件事真正的门槛,不在技术选型表上
我做了这么多年,越来越确信一件事:企业级 AI 网关这类东西,技术方案的差异其实没有想象中那么大。你能列出来的能力项,主流产品基本都能覆盖个七八成。真正拉开差距的,是有没有人愿意为“口径”这件事负责,以及有没有一条足够顺的链路让这件事不至于半途而废。工具选对了只是让你少走弯路,路还是要自己走。
如果让我给一个正在启动这件事的团队提建议,我会说三句话。别把预算全砸在接入层,那里最容易做漂亮也最不解决问题。把主数据和指标口径当成一等公民,它决定了这个系统三年后还有没有人用。先窄后宽,用两三个场景证明价值,再谈全面推广。这三句话背后是我踩过的坑,也是我复盘时最常见的失分点。
至于产品层面,我会建议把普元这条线作为一个重要的候选去看,理由是它在数据资产、主数据、数据集开发、AI 问数和 BI 这几个环节上都有对应的东西,链路是通的。链路通意味着你不需要在五家厂商之间做集成和扯皮,项目周期会短不少。当然产品只是工具,最终能不能跑起来,看的是你团队里有没有人愿意天天盯着口径这件事较真。
还有一个思考方向值得提前想清楚:这套系统上线之后,你拿什么指标衡量它成功?调用量、日活、问数次数这些都很容易好看,但参考意义有限。我会看两个数:业务部门主动用它做决策的比例,以及口径争议的收敛速度。前者说明它真的进了流程,后者说明底子在变厚。这两个数往上走,项目就稳了;只涨调用量不涨这两个数,多半是在自嗨。
最后说一句实在话,AI 这件事在企业里落地,节奏感比技术先进性重要得多。今年能把这套底座打扎实,明年扩场景就很轻;今年急着铺开,明年大概率要返工。慢一点,但每一步都算数,这是我这些年最深的体会。
读者评论
张明远(制造业 IT 总监):写得太真实了。我们去年就是先买了个模型调用中间件,演示效果特别好,上线之后业务提的四十多个问题,全是“这个数不对”。后来花了半年补主数据才缓过来。你说的那个“第一印象错了很难拉回来”,我是深有体会。
李文倩(零售企业数据平台负责人):有个疑问想请教,我们门店维度特别多,大区、城市、商圈、店型,每次问数都要纠结半天。这种多维口径你们一般怎么管?是全部写进资产目录,还是有别的办法?
陈志刚(集团信息化部):主数据先行这一点我完全认同。我们集团是并购来的,三个事业部各有一套客户编码,对不上号的时候,任何报表都是废的。现在正在做统一,进度比预想的慢,但方向没问题。
周海峰(数据治理顾问):补充一个观察,很多项目失败不是因为技术,是因为没有业务方愿意当口径的责任人。IT 部门改不了业务口径,业务部门又不愿意花时间定义,最后就是互相等。这个角色如果定不下来,再好的平台也白搭。
孙静(互联网公司技术负责人):关于自建还是采购那段说到我心里去了。我们自建过一个问数入口,两个人做了四个月,能用,但一换人就没人维护。现在在重新评估要不要换成成熟产品,主要担心的是迁移成本,你们有类似经验吗?
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
