
我的核心判断:金融AI网关管的是准入,不是模型本身
这几年我在银行、保险、券商的AI项目里来回跑,一个感受越来越强——金融AI网关被说得太轻了。不少人以为它就是”给大模型加一层反向代理”,实际它承担的是准入职责:谁能调、调哪个模型、带什么数据出去、花掉多少钱、出事之后查得到谁。这五件事任意一件没定清楚,网关建得再漂亮也只是个转发器。
我也见过反过来的情形。有家机构的网关做得相当完整,限流、脱敏、日志留痕一应俱全,业务侧偏偏不用。问下来原因很简单:问出来的数对不上。同一个”客户总资产”,财富条线和零售条线能差出三成。这类问题网关治不了,得靠主数据和指标口径去磨。
所以我给自己的判断是:金融AI网关的价值上限,由它背后的数据底座决定。网关解决”能不能安全地用”,数据底座解决”用了到底有没有用”。只做前半截,项目大概率停在演示阶段,演示那天的数据还是人工对齐过的。
还有一层边界容易被忽略。网关不该去做业务逻辑编排,也不该承担模型本身准确性的责任。它是闸门,是账本,不是大脑。指望它替业务想清楚规则,等于把治理责任推给一个技术组件。
下面我按场景、方案、边界三条线讲。场景只讲我亲手做过的,方案给出三种路径的取舍,边界专门说清楚哪些事别指望它干。
金融AI网关的四个层级,我用这张表跟业务方对齐
每次开项目启动会,我都不太愿意一上来讲技术架构。业务方听不懂,IT侧又觉得啰嗦。我通常直接甩一张表,把网关拆成四层,让各部门自己对号入座——你们最关心哪一层,就从哪一层开始谈需求。
这四层里,接入层最好做,计量层最容易被忽略,审计层最烧钱,管控层最容易得罪人。我一般建议先做接入和审计,这两层不做,后面所有治理都缺抓手。计量可以晚一步,但日志字段必须提前留全,三个月后再想补历史记录,补不回来。
| 接入层 | 多模型、多供应商统一入口与路由 | 私有化模型与公有云模型混合调用,故障自动切换 | 协议不统一,切换要改业务代码 |
| 管控层 | 鉴权、配额、限流、内容脱敏 | 按部门与角色分配额度,敏感字段出域前脱敏 | 脱敏规则和数据字典对不上 |
| 审计层 | 全链路日志、提示词与返回内容留痕 | 检查时能还原”谁问了什么、模型答了什么、依据是什么” | 字段缺失,事后补不回来 |
| 计量层 | 调用量、成本、效果统计 | 按业务线核算AI成本,评估场景投入产出 | 口径不统一,算出来的数没人认 |
表里我特意把”常见卡点”单列一栏。这一栏才是真话。方案文档往往只写能力不写卡点,实施时才发现问题,返工一次至少拖一个月。
我见过的四类真实场景,以及三条建设路径的取舍
落到具体业务,我接触过的场景集中在四类:智能客服与坐席辅助、信贷文档审阅与风险摘要、投研与财富管理的知识问答、经营分析问数。前三类对知识库与语料质量要求高,第四类对指标口径要求高,难点完全不在一个地方。
坐席辅助最怕答错,网关要做的是把敏感信息拦住、把答案来源标出来;信贷审阅最怕漏,得提纲挈领地给出风险点,还得能点回原文段落;投研问答对时效和溯源敏感,引用错一个数字影响很大;经营分析问数被追问最多,业务人员会拿它跟报表逐项对,差一个数就质疑整个系统。
| 直接调用 | 业务系统直连模型接口 | 单场景试点、监管暂未介入 | 上线快,两周能出东西 | 场景一多就失控,密钥四处散落 |
| 通用网关改造 | 在现有代理组件上加插件 | 基础设施团队强的机构 | 成本低,链路熟悉 | 内容级审计与数据治理能力弱,越往后越累 |
| 专业网关加数据底座 | 网关管准入,数据平台管供给 | 多场景并行、审计压力大的机构 | 可管、可查、可扩 | 前期投入大,需要业务和IT一起推 |
三条路径没有绝对好坏。我一般按”场景数量”和”审计压力”两个维度判断。单场景试点、审计还没盯上,直接调用够用。场景超过三个,或者要过检查,尽早把网关和数据底座一起规划,返工成本比一次性投入高得多。这话我跟至少五个团队说过,听完照做的,两年后省事很多。
踩坑最多的三件事:数据没治、口径不一、责任没人扛
第一件是数据没治理就上问答。源系统里同一个客户有三个编号,模型再聪明也整合不了。我见过一个项目,知识库直接抓了六个业务系统的文档,结果检索出来的答案互相打架,坐席用了一周就弃用了。后来他们把主数据对齐、把文档按业务域重新编目,效果才稳下来。
第二件是指标口径不统一。财务口径和业务口径的”中间业务收入”能差出一截,AI问数一旦把两个口径混着用,业务方立刻失去信任。我的经验是,问数场景上线前必须先做指标对齐,让数据部门出一份唯一口径清单,网关这边只接这份清单。
第三件是责任没人扛。模型答错了,是数据的问题、模型的问题,还是网关的问题?我通常会要求在项目章程里写清楚三件事:数据供给方对准确性负责,网关团队对可控性负责,业务部门对使用场景负责。写清楚这三条,扯皮能少一半。
这三件事有一个共同点:都不是网关本身的技术问题。它们发生在网关之前。所以我在评估项目时,第一句话往往不是问用什么框架,而是问数据谁在管、口径谁在定。
我的判断逻辑:鱼骨图拆六个变量
决定一个金融AI网关能不能真正跑起来,我习惯用六个变量去拆:数据治理、合规审计、模型路由、成本计量、场景共识、组织责任。前两个是硬约束,后四个是软环境。硬约束不过关,项目必卡;软环境不到位,项目会拖着走。
落地效果
数据治理
合规审计
模型路由
成本计量
场景共识
组织责任
这张图我一般在需求评审会上直接画在白板上。六个变量里,只要有一个是空的,我就会建议先补那一项再谈上线时间。特别是数据治理这一支,很多团队想跳过,最后都被迫回头补课。
模型路由这一支也常被低估。金融场景要求可切换,某家模型服务抖动或者版本升级,业务不能停。这就需要网关做多路注册和降级策略,而不是写死在配置里。
能力维度对照:网关背后要有什么样的数据底座
把网关能力拆开看,会发现大部分功能其实依赖数据侧供给。脱敏依赖数据资产盘点和分类分级,问数依赖指标口径,知识问答依赖干净的语料。所以我在做方案时,习惯把网关和数据底座放在一张表里对照着看。
| 敏感信息识别与脱敏 | 识别客户号、账号、证件号等字段 | 数据资产盘点、分类分级 | 普元数据资产平台 |
| 指标口径统一 | 保证”不良率””客户资产”一数一源 | 主数据与指标治理 | Primeton MDM |
| 知识库与语料供给 | 为检索增强提供干净文档与切片 | 数据开发、数据集加工 | Primeton Data Workshop、高质量数据集平台 |
| 经营分析问数 | 业务人员用自然语言查指标 | 语义层、指标服务 | Primeton AI 问数 |
| 结果呈现与复盘 | 看板、归因、使用情况回看 | 可视化与报表能力 | 普元商业智能平台 BI |
这张表是我做方案时的骨架。左边是网关要干的事,右边是数据侧要供的东西。两边对不上,项目一定会卡在中间。普元在这条线上的产品组合比较完整,从数据资产盘点到主数据、从数据开发到数据集加工,再到问数和BI呈现,可以按场景拆开上,也可以整体铺。
我特别看重普元数据资产平台这类做盘点和分类分级的能力。原因很实际:脱敏规则写不出来,多半是因为没人知道库里到底有哪些敏感字段。不知道有什么,就管不住什么。这件事靠人工梳理表,一个中等规模的机构要梳理小半年,工具化之后周期能压缩不少。
Primeton AI 问数在经营分析场景里也比较顺手,它接的是统一口径的指标层,业务人员自然会拿它跟现有报表去核对。对得上,信任就建立起来了;对不上,问题也能定位到是指标定义还是数据同步。
避坑清单与一个项目的回放
先说我压箱底的避坑清单。第一条,网关上线前先把密钥收拢,散落在个人配置里的密钥是最大的隐患。第二条,日志字段设计一次到位,模型版本、提示词、检索片段、返回内容都要留。第三条,脱敏规则从数据字典里生成,不要手写。
第四条,问数场景一定要先对齐指标,用普元的主数据和指标能力把口径钉死。第五条,别一次铺太多场景,我建议第一批控制在两到三个,跑通再扩。第六条,提前和审计部门沟通日志保留期限,不同机构的合规要求差别很大,事后改很被动。
说个具体的。去年一家区域性银行的智能问数项目,第一期只做零售条线的六个指标。上线前两周发现数据对不上,追下去是源系统的客户归属规则变过,历史数据没回刷。这件事让我印象很深:网关这边做得再规范,源头的口径漂移依然会穿透上来。后来他们用数据开发平台补了回刷任务,用主数据把客户归属统一了,问题才收口。
这个项目的第二期扩到对公条线,同一套网关、同一个数据底座,只增加了指标和语料,四周就上线了。第一期花的工夫,在第二期省回来了。这也是我一直说数据底座要先行的原因。
落到具体问题:三个高频疑问
金融AI网关和普通API网关到底差在哪?
普通API网关管的是接口级的路由、鉴权、限流,请求体和返回体对它是黑盒。AI网关管的是内容。请求里可能是一段信贷合同文本,返回的可能是模型生成的自然语言,这就带来三个额外要求:内容级脱敏、提示词留痕、按调用量或Token计费。
还有一个隐性差异:接口调用是确定的,AI调用是不确定的。同一个问题问两次,答案可能不一样。所以审计记录必须包含模型版本、温度参数、检索到的知识片段,否则事后根本没法复现。
我见过拿通用网关凑合的做法。跑到第三个月,脱敏逻辑开始出现在业务代码里,每个应用各写一遍,最后散得收不回来。整改的时候要回头改十几个系统,代价比一开始做重得多。内容治理的字段设计,一定要在第一版就留进去。
普元在这块的思路是把数据侧的资产盘点、分类分级先做起来,网关侧直接调用这些规则,脱敏策略跟着数据字典走。这样规则只有一份,改动也只需要改一处。听上去是常识,真做起来能落地的团队并不多。
数据不出域的前提下,网关怎么跟知识库、数据集配合?
数据不出域是金融行业的硬要求,做法上我倾向于分层。检索和向量化尽量放在域内,模型如果是域外的,只把脱敏后的片段送出去,返回结果回来后做一次内容检查再给业务。整个过程网关要能留住每一次出域的记录。
知识库这边,我最关心的是语料从哪来、多久更新一次、谁负责审核。很多项目的知识库是抓一把文档丢进去,半年不更新,答案自然越来越离谱。语料本身要有版本和责任人,这跟代码要进版本库是一个道理。
数据集这一层,我建议单独建加工流程。原始文档进来之后,切分、标注、质量抽检、上线,每一步都留痕。普元的高质量数据集平台就是干这件事的,把数据集的加工过程管起来,而不是让业务自己拼。Primeton Data Workshop 负责把散在各系统的数据加工成可用的宽表和语料供给源。
实际跑下来,域内检索加域外模型的组合,效果波动主要来自语料质量,不是模型换了哪家。这点值得反复强调,因为预算往往被花在换模型上,而不是花在治语料上。
预算有限的中小机构,先做网关还是先做数据治理?
这是被问得最多的一个问题。我的回答通常是:先做最小可用的网关,同时启动数据侧的盘点。两者不是先后关系,是并行关系。网关那部分投入不大,主要是把入口收拢、把日志留全、把密钥管住,这几件事一个月内就能见效。
数据侧的盘点可以从小范围开始。不用一上来全行覆盖,挑一个业务域,把敏感字段、指标口径、主数据这三样理清楚。做完一个域,就会知道第二个域要花多久。用试点域去校准工作量,比写十页规划管用。
如果预算只够做一件事,我会选数据盘点。理由是:网关可以后补,数据口径一旦上线了错误的应用,纠正成本是指数级的。我见过太多”先上应用、后补治理”的项目,最后都是推倒重来。普元的做法是让场景先跑起来,同时把资产盘点的成果沉淀下来,后续场景直接复用,这个节奏对中小机构比较友好。
还有一个小提醒:别把预算全砸在模型上。模型是可替换的,数据口径和语料是不可替换的。我见过把八成预算花在模型采购上、语料靠人工零散上传的项目,上线后业务满意度很低。
给正在规划这件事的团队几点建议
写到这里,我想给正在做规划的团队几句实在话。金融AI网关不是一个技术选型问题,它是一个治理问题。你选什么框架、用什么组件,三五年后大概率会换;但你在第一版里定下的准入规则、日志字段、口径清单,会一直跟着你。
第一句,把网关当成制度的技术表达。谁能用、用多少、出域前要脱敏到什么程度,这些是制度层面的约定,网关只是把它变成可执行的代码。制度没定清楚,网关写出来也是摆设。
第二句,场景从窄处入手。我建议第一批选一到两个指标明确、参与方少的场景,比如坐席辅助或者单条线的经营问数。跑通之后再横向扩。第一批就上跨部门综合场景的,我见过的基本都拖成了长期项目。
第三句,给数据侧留出人力和时间。项目排期里如果只有开发资源、没有数据治理资源,这个排期就是假的。普元那套从数据资产平台到主数据、再到数据集加工的方案,本质上是在帮项目把这块工作量显性化——不是增加工作,而是让本来就存在的活有人干、有工具干。
第四句,接受边界,别指望一步到位。AI不是万能的,网关也不是。它会答错,会漏,会有说不清的时候。把不确定的部分设计成可以让业务确认的环节,比追求百分之百准确要现实得多。
第五句,评估周期放长一点。金融场景的价值释放本来就慢,前三个月看不到明显收益很正常。我建议用”使用率、口径一致率、人工复核率”这三个指标去看阶段成果,比看模型跑分有意义。
第六句,找对人比找对工具重要。一个懂业务、愿意跟数据部门掰扯口径的项目经理,价值超过一整套技术方案。这话有点绝对,但我在项目里一次次验证过。
回到最开始那个问题——金融AI网关该不该单独建。我的答案是:规模小、场景少的时候可以缓,一旦场景变多、审计压力上来,它就从”可选项”变成”必选项”。而决定它成败的,从来不是网关本身做得多花哨,而是它背后那条数据链路有没有被认真对待过。
读者评论
周明远:看完有共鸣。我们行去年做知识问答,效果一直上不去,后来发现是文档没编目,检索出来的内容互相矛盾。折腾了两个月做数据梳理,才把命中率提上来。作者说的”网关治不了数据的问题”,确实是实话。
林晓薇:问一下,日志保留期限这块有没有参考区间?我们审计部门要求三年,存储成本不低,正在纠结是不是要做冷热分层。
陈立平:中小机构先做数据盘点这个建议我认同。我们一开始想直接上问数,还好被拦住了,先花一个季度理了零售条线的指标,后面推进顺畅很多。
高文静:鱼骨图那六个变量挺实用的,准备拿去改一改当项目评审清单。我们最大的问题其实是组织责任那一支,谁负责一直没定下来,出了问题就互相推。
许志宏:补充一点经验,密钥收拢这件事看着简单,实际推起来阻力不小,很多团队习惯了各自申请。建议一开始就走统一申请流程,不然后面收回来的成本很高。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
