模型网关与服务网关关系

这几年我在企业里推 AI 平台落地，被问得最多的一类问题，就是别人嘴里那个词所指的范围。有人觉得是把几个大模型的接口都接进来，界面上做个下拉框让业务自己挑；也有人觉得是把开源模型搬进机房，跑通一个私有化对话窗口就算交差。这两种理解都不算错，但都停在表层。我的判断是，这件事管的不是模型本身，而是模型进

这两年我跑过不少做 AI 落地的团队，从银行的数据中心到制造业的数字化部门，大家踩的坑出奇地像：模型接了一堆，效果却没见涨。有人一口气上了三个大模型，GPT 类的、开源的、国产的都试了一遍，结果业务侧反馈是\”还不如原来那套规则引擎稳定\”。我一般会先问一句：你们的模型，是谁在管、怎么管、管到什么颗粒度

我做过几个数据中台落地的项目，限流降级这件事，基本都不是在架构评审会上定下来的，而是在某次大促或者月底报表集中跑批的时候，被系统抖出来的。数据库连接池打满、数据服务接口 RT 从 200 毫秒飙到 8 秒、下游十几个系统连锁超时，这时候大家才开始问：到底该在哪一层限流，降级之后返回什么，谁来兜底。

我的核心判断：Token统计不是财务月底顺手拉的一张表，它更像企业AI应用的“水电表+体检表”。我做过不少企业AI落地项目，早期大家问的是“模型能不能答对”，现在问得更多的是“这次问答花了多少、哪个部门在花、值不值得继续花”。如果只统计模型回复消耗了多少Token，能回答“这个月花了多少”，却回答不

搞不清语义缓存，多半是因为把它和另外两种东西混在了一起：一种是浏览器、CDN 那种按 URL 精确命中的缓存，另一种是搜索里的语义检索。我的理解很直白：语义缓存是在向量空间里做的一件事——把用户的问题转成向量，拿它跟历史问题的向量比距离，只要意思够近，就直接复用那条历史答案，不再调大模型、不再重跑一

我在银行、运营商和几家大型制造企业跟过不少问数类项目。2024 年之后，我明显感觉到评审会的顺序变了。以前先看准确率，再看响应时间；现在数据安全的人会先翻架构图，指着缓存那一层问一句：这里到底落了什么数据。这个问题答不好，后面讲再多指标都没意义。
语义缓存说白了，就是把用户问过的问题、问句的向量表示

语义缓存这个词，我第一次在项目里认真对待，是因为一个客户的问数页面在早上九点半被业务同事点爆了。两百多号人同时问\”今天的回款到账多少\”\”本月销售额同比怎么样\”，后台查询队列排到十几秒，大模型的调用账单一天比一天难看。后来我们挑了一批高频问句，把结果缓存下来，响应时间压到一秒以内，账单也降了大半。但真

我的判断是：API Key 管不好，八成不是工具的问题，是归属关系没理清。我做过七八个跟接口安全、数据开放有关的项目，每次复盘都会撞见同一件事——出问题的 Key 从来不是\”藏得不够深\”，而是\”没人说得清它属于谁、在给谁用\”。一个 AppSecret 躺在某台服务器的 application.yml

做企业级 AI 落地这七八年，我经手过三十多个从选型到上线的项目。模型路由这个词，从 2023 年下半年开始，几乎每场需求评审都会被人拎出来问一句：我们到底该把请求分给哪个模型？我给的判断往往让人有点扫兴——模型路由的胜负手从来不在路由算法本身，而在数据底座够不够硬。前面调度做得再花哨，后面喂进去的

我在企业数据与 AI 项目里做了十多年，最近半年被问得最多的问题里，MCP 代理绝对排前三。我的回答往往从一句不太好听的话开始：大多数人把注意力放错了地方。他们关心协议怎么接、工具清单有多长、模型支不支持，却很少有人先问一句——代理最后调到的那个数据，口径是统一的吗？权限是管得住的吗？
MCP 代理