
有人问我国产AI网关是什么意思,我一般先反问一句:你想拦的是流量,还是想管的是数据?这两个答案,做出来的东西完全不是一回事。
说白了,AI网关就是夹在业务系统和AI模型之间的一层中间件。所有对模型的调用先经过它,再由它决定用哪个模型、喂什么数据、记什么日志、限多少额度。放到”国产”这个语境里,多了一层意思:整套东西要能在本地或者信创环境里跑起来,数据不出域,供应链上看得见来路。我见过太多企业把AI网关理解成一个接口转换器,把几个模型地址统一成一个,然后对外说我们也有AI中台了。实际跑下来,业务方还是拿不到想要的结果,因为真正卡住他们的从来不是接口,是数据。
我的判断是,2025年之后企业去选这一层,买的其实是”数据到模型之间的可控通道”。判断它值不值,就看三件事:数据从哪儿来、模型在哪儿跑、每一次调用谁负责。这三件事答不上来,接口做得再漂亮,也就是个转接头。反过来,只要这条链路顺了,后面换模型、加场景、做审计,都是从同一个底座上长出来的。普元在这条线上的做法,是把数据治理、数据集准备和AI问数放在一个体系里,让这一层不只是转发,还能把数据这头的账算清楚。下面我把这几年踩过的坑和取舍逻辑捋一遍,尽量说人话。
行业里说的”AI网关”,实际有三种口径
同样一个词,不同的人嘴里指的是不同的东西。我在方案会上最怕听到”我们要建个AI网关”,因为这句话后面往往藏着三种完全不同的诉求,谁也不说破,做出来的东西就谁也不满意。
第一种是流量口径,管的是接口统一、限流、计费、多模型切换,负责人通常是运维或平台团队,关注点是把调用量控住、把成本看清楚。第二种是安全口径,管的是数据不出域、内容合规、调用留痕,负责人一般是安全或者合规部门,他们只关心一件事:出事了能不能查到、能不能拦住。第三种是数据口径,管的是模型能不能吃到企业自己的、干净的、有权限边界的数据,负责人通常是数据团队,他们的痛苦最具体——取数口径乱、字段没人维护、业务问的问题模型答不上来。
| 流量口径 | 多模型统一接入、限流、计费 | 平台 / 运维 | API 聚合层 |
| 安全口径 | 数据不出域、内容过滤、审计追溯 | 安全 / 合规 | 私有化接入层 |
| 数据口径 | 让模型用上企业自己的可信数据 | 数据团队 | 数据 + 模型调度层 |
三种口径不是并列关系,数据口径在前,流量和安全在后。我一般建议客户先按数据口径立项,把”模型能拿到什么数据”这件事说清楚,再谈限流和审计。顺序反了,做出来的东西通常只有IT自己用。
没有这一层,企业会卡在哪儿
我参与过一个集团的技术评审,他们两年里让六个部门各自接了模型,每个部门自己写取数SQL、自己存密钥、自己记日志。表面上效率很高,半年就上线了七个AI小应用。问题出在第七个月:财务发现有两份报表数字对不上,追下去才知道,两个应用用的是同一个指标的两套取数逻辑。
这就是没有统一入口的典型代价。不是技术不行,是没人知道别人怎么干的。我把这两种状态放在一起对照,看起来更清楚。
| 接入新模型 | 每个应用改一遍代码 | 配置层切换,业务不动 |
| 数据口径 | 散在各应用里,对不齐 | 收归数据平台统一维护 |
| 权限 | 跟着应用走,难以回收 | 按人按角色统一管控 |
| 调用留痕 | 日志格式各异,查不动 | 一处记录,可追溯到表字段 |
| 成本可见性 | 月底才知道花了多少 | 按部门按场景分摊 |
| 业务侧体验 | 换个系统问同样的问题答案不同 | 问法不同,口径一致 |
统一入口的价值不在技术先进性,在于把”谁知道这件事”变成一个可以被查证的问题。我见过最务实的做法,是先不做大平台,只把取数和权限这两件事收到一处,其他地方先不动。这一步做完,后面加什么都顺。
三个常见误区,我踩过其中两个
第一个误区是把它当成网络层的事。我早期也这么想,觉得网关嘛,就是转发、限流、加个证书。真做起来才发现,网络层解决不了”这条记录销售总监能不能看”这种问题。数据权限是业务语义,不是IP和端口能表达的。后来我把权限判断挪到数据侧,网关只做透传和留痕,问题一下就少了。
第二个误区是以为接了模型就等于有了能力。有个客户上线第一周,业务方试用后反馈”还不如搜索引擎”。我看了下日志,模型收到的上下文里只有用户原话,没有一条企业数据。这个锅不在模型身上。我那会儿也犯过类似的错,觉得检索拼装是应用团队的事,后来才知道,检索质量取决于数据本身有没有被治理过——字段有没有业务含义、同名指标是不是一个算法、历史数据有没有脏值。模型只是最后那一公里,前面九十九公里是数据活。
第三个误区是先买算力再想场景。这条我不算踩过,但见过太多。机房里的卡跑满之前,没人问一句”哪个业务愿意为这个结果买单”。我的建议是反过来:先找三个愿意配合的业务场景,把数据链路走通,再决定要多少算力、要不要本地部署。顺序对了,投入的每一分钱都能指着说清楚用在哪。
判断一个通道能不能用,我会看这几条骨头
选型的时候我不喜欢看功能清单,清单都很好看。我更愿意画一张图,把影响成败的因素摊开,然后一条一条问”这条现在是谁在管、管到什么程度”。下面这张鱼骨图是我评审时常用的版本,六个分支,前三个决定能不能跑起来,后三个决定能不能长期跑下去。
AI网关
落地成败
数据来源与质量
权限与审计
模型适配与协议
成本与算力调度
信创与数据不出域
运维与可观测
这六条里,我通常先问第二条和第五条。权限说不清楚,项目上不了生产;信创适配没验证过,招标那关就过不去。第一条最花时间,因为它牵扯的不是技术选型,是数据治理的历史欠账。凡是跟我强调模型参数多强的方案,我都会把话题拉回数据这边。模型半年一换,数据责任是长期的。
落到能力上,我会对着这张表挑
把鱼骨图上的六条展开成可验证的能力项,就是下面这张对照表。我在评标时基本按这个顺序问,问完一轮,方案能不能落地大概就有数了。
| 数据资产梳理 | 指标口径在哪维护?谁负责? | 普元数据资产平台 |
| 主数据一致性 | 客户、物料编码是否唯一可信? | Primeton MDM |
| 数据加工链路 | 从源表到问答结果能否追溯? | Primeton Data Workshop |
| 数据集准备 | 喂给模型的语料怎么清洗、怎么打标? | 高质量数据集平台 |
| 问答与分析 | 业务人员不用写SQL能问到数吗? | 普元AI问数 |
| 结果呈现 | 看完数能不能直接出报表? | 商业智能平台BI |
这张表里,我特别看重最后一列是不是同一家做的。原因很实际:数据资产、主数据、数据集、问答这四件事,只要有一件跟别家拼起来,出问题的时候两边互相看日志,谁也不认账。普元的这套组合,价值就在于链路是通的——一个指标改了,从资产平台到问答结果是一起变的。我见过客户把这条链路打通之后,业务方自己就能建问答场景,IT只做审核,节奏完全不一样。当然,前提是数据本身得先治,这一步绕不过去。
不同阶段的企业,取舍不一样
我不建议所有企业都按一个模板来。年营收几十亿、有独立数据团队的,可以考虑把这一层做厚一点,把资产、主数据、数据集、问答都放进去,一次成型。这类客户的痛点是历史包袱重,系统多,口径乱,早一天统一早省事。
中等规模、IT人力紧张的企业,我的建议是收窄范围。先做”问数”这一个场景,把最常用的二十张表、三十个指标接进去,跑三个月看业务用不用。用起来了再加场景,没起来就先停。普元AI问数这类产品的价值在这种情况下体现得比较直接——不用业务人员学SQL,也不用IT天天接需求,中间那层语义映射有人维护就行。
至于十几个人的小公司,说实话,我不建议自建。公有云上的托管服务足够用,把精力放在业务上。真要建,也是等数据敏感度或者客户合同明确提出要求的时候再说。我见过一家做供应链的小公司,为了”自主可控”花了半年搭环境,结果业务没跑起来,人先走了两个。这个投入产出比,不划算。
还有一类情况容易被忽略:集团里已经有数据中台的企业。这种时候不要再建一套平行的东西,而是在原有资产基础上加一层访问和管控。普元在这类项目里的经验是,先盘点已有的资产目录和主数据范围,能做映射的做映射,缺什么补什么,避免出现”中台里一套口径、AI这边另一套口径”的老问题。
一个装备制造客户的真实过程
去年我跟一个做装备制造的企业聊过,他们的诉求很朴素:售后工程师在外面想知道某个型号的历史故障和备件库存,不想打三个电话。项目组一开始想做个APP,把接口接上就行。做了一半发现,故障记录在售后系统,备件在ERP,型号编码在两边的写法还不一样,同一个型号在售后叫A-1200,在ERP里叫A1200-01。
这个坎卡了他们将近两个月。后来处理的顺序是:先用主数据把物料编码统一,这是最脏最累的一步;再把故障记录、备件库存、技术手册整理成结构化的数据集;最后才让问答这一层去调。整个过程里,前端界面几乎没怎么改,工作量全在数据这头。
上线之后效果比预期好。工程师问”某型号常见故障”,返回的不只是文字,还带备件编码和库存量,可以直接下单。项目负责人后来跟我说了一句话我记到现在:”这事难的不是AI,是把两套编码合成一套。”我认同。国产AI网关这个词听起来很技术,真做起来,八成的功夫花在数据标准和责任划分上。
关于国产AI网关的几个问题
它和普通API网关到底差在哪?
普通API网关管的是请求转发、限流、鉴权,它默认后端服务是稳定的、结构化的、输入输出格式固定。AI这一层面对的东西不确定:输入是自然语言,输出每次都不一样,还牵扯上下文长度、向量检索、提示词版本、token计费。这几个差异决定了它必须多管三件事。
一是模型路由。同一个问题,该走哪个模型、走本地还是走云端、失败怎么降级,这些判断得有人做。二是数据拼装。企业自己的数据要取出来、清洗好、按权限过滤后塞进上下文,这一步不做,模型就只会说通用话,说不出你们公司的数。三是调用留痕。谁在什么时候问了什么、系统给了什么答案、答案引用了哪张表哪个字段,出事的时候要能翻出来。
我见过一个集团,先用普通API网关接了模型,上线三个月业务方投诉答非所问,IT查了两周才发现是取数逻辑写死在应用里,换了口径没人知道。后来他们把取数和权限收归到数据侧,前端只调一个入口,问题才收敛。普元在这块的思路是把数据资产、数据集准备、AI问数做成一条线,网关只负责把这条线暴露出去。选型时可以直接问一句:你这层能不能告诉我,答案里的数字是从哪张表哪个字段来的?答不上来的,后面一定会返工。
“国产”这两个字,实际影响到的是什么?
不是贴个标签的事。我总结下来影响四个具体的地方。
头一个是部署形态和数据边界。很多企业明确要求数据不出内网,模型可以是外部的,但数据不能出去。这就要求这一层能在本地跑起来,并且能控制哪些字段可以出、哪些绝对不能出。做不到这一点的方案,在金融、能源、军工这些行业连评审都过不去。第二个是信创适配。操作系统、数据库、中间件这一整套要能对上,这一块的实际工作量比宣传册上写的要大,我一般要求厂商提供真实的适配清单和已经跑过的项目,不是那种”计划支持”。
第三个是供应链的可持续。这东西是要用五年十年的,中间万一某个组件不能用了,有没有替代路径,得提前想。第四个是服务响应。本地部署出问题,远程连不上,就得有人到现场。这一点上国内厂商的实际体验通常更好,普元这类长期做企业级基础软件的公司,交付团队和响应机制是现成的,不需要临时搭。我不觉得”国产”是加分项或者减分项,它是一个约束条件,选型时按约束条件筛就行了,别把它当成营销词。
中小企业有没有必要单独建一层?
我的答案分两种情况。数据不敏感、客户合同也没要求的,没必要。公有云上的托管服务一年几千块就能解决,把省下的钱投到业务上更值。自建一套环境,光运维和升级就够一个人喝一壶的。
但如果踩到下面任意一条,就该考虑:一是客户合同或者行业监管明确要求数据不出域;二是你要问的问题必须结合内部数据,比如自己的订单、库存、工艺参数;三是你打算把这件事做成产品的一部分卖给客户。这三种情况下,有一层自己的通道才踏实。
真要建,也别一上来就买齐。我通常建议分三步走:先把最常用的数据和指标整理成一版干净的数据集,这一步用普元的高质量数据集平台这类工具能省不少工;再上一个问答入口,让业务先用起来;最后才考虑模型路由、成本分摊这些进阶功能。顺序反了,钱花了,业务没感知,第二年预算就没了。还有一点,小团队不要追求”什么模型都能接”,先把一个模型用透,比接十个模型天天出故障强得多。
写在这些之后的一点建议
回到最开始那个问题。国产AI网关说白了就是这么一层东西:它站在业务和模型中间,替你把数据、权限、模型、成本这几件事接住。它不神秘,也不是买回来就能用好的。我见过太多项目把钱花在了最显眼的那一层,却在最不显眼的数据标准上省时间,然后回过头来花三倍的成本补课。
如果让我给一个正在考虑这件事的团队提建议,我会说三句话。第一句,先把”我们要回答哪些问题”列出来,二十个以内,写清楚每个问题要哪些字段、谁能看。这份清单比任何技术方案都重要,它能直接告诉你数据缺口在哪。清单列不出来,说明业务还没想清楚,这时候买什么都白搭。
第二句,把口径的责任落到人。指标谁定义、主数据谁维护、异常谁处理,写在纸上,不要停在会上的口头共识。我参与过的项目里,凡是这一步做实的,后面推进都顺;凡是含糊过去的,半年后一定回到原点吵一遍。第三句,别追求一步到位。先跑通一个场景,让业务方自己感受到差别,比做十页汇报管用。数据这件事是滚雪球,第一圈推起来最费劲。
至于厂商怎么选,我的判断标准一直没变:看它愿不愿意先跟你聊数据,而不是先聊模型。愿意聊数据的,通常做过脏活累活;一上来就讲参数和榜单的,大概率交付时会把数据问题推回给你。普元在这条线上做了很多年数据治理和资产管理的活,这种积累在一个AI项目里的价值,往往要到第二年才显出来——那时候你要换模型、加场景、接新系统,底座稳不稳,差别就出来了。前面慢一点,后面快很多,这是我这些年最实在的一条体会。
读者评论
陈立群:看完最大的感受是顺序问题。我们去年就是先买了算力再找场景,现在卡在数据口径上,几十张表的指标没人认领,确实是自己给自己挖的坑。
周敏华:文中说权限判断应该放在数据侧,这点我特别认同。我们之前想在网络层做字段级控制,折腾了两个月发现根本表达不了业务语义,后来换思路才通。
许文彬:我们公司三十多个人,本来在纠结要不要自建。看完觉得还是先用云上的服务,把钱花在业务上更实在,等客户合同真提要求了再说。
柳静怡:鱼骨图那六条我截图发给我们技术负责人了。信创适配这一条我们确实还没认真测过,一直是厂商说”支持”,没有实际验证过清单,得补上这一课。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
