
一、我眼里的金融 AI 网关:一层管控带,不是一个软件盒子
我在银行、保险、券商这几类客户现场跑了七八年,只要有人提“金融 AI 网关”,会议室里立刻会出现两种理解。一种是纯技术派的:这不就是个模型代理吗,开源拉一个下来,配几行路由规则,三天就上线。另一种是合规派的:这应该是个审批口子,所有跟大模型沾边的调用都得从这儿过一遍。这两种理解都不算错,但都不完整。金融 AI 网关的本质,是横在“模型与数据服务”和“业务应用”之间的一层金融级管控带,它一半是技术组件,一半是治理制度。
我一般会把它拆成两个半边来看。技术半边管的是接入协议转换、模型路由、灰度切换、流控熔断、Token 计量、缓存复用、会话上下文管理这些东西;治理半边管的是身份认证怎么映射到行内用户体系、敏感字段怎么在出网关之前脱敏、调用全链路怎么留痕、内容输出怎么过合规词库、成本怎么摊到具体部门和业务条线。这两半如果只做一半,后面一定会返工。
真正让金融行业跟互联网行业拉开差距的,不是模型接得多,而是数据那一段。客户在手机银行里问“我这张卡的消费分期还剩几期”,这句话背后要同时命中客户主数据、产品主数据、账户交易数据和分期计划,任何一个口径对不上,模型答出来就是错的。所以我通常会说,金融 AI 网关的成败,六成取决于网关本身,四成取决于它背后那座数据底座够不够干净。很多机构在网关上线三个月后才意识到这一点,那时候 prompt 改了上百版,问题还在数据那头。
范围讲清楚这件事很重要,因为它直接决定预算往哪放、谁来牵头、验收标准怎么定。我的判断是:网关的核心范围是“管调用、管权限、管合规、管成本”,外围范围是“供数据、供知识、供指标”,后者不属于网关本体,但必须跟网关打通,否则网关只是一个漂亮的空壳。
二、边界在哪:哪些能力算在网关里,哪些不该硬塞
做范围界定的时候,我习惯先画一张“进/不进”的清单,拉上科技部、数据部、合规部一起过一遍。经验是,凡是跟“调用”这个动作直接相关的,放网关里;凡是跟“数据本身怎么生产”相关的,放到数据平台去。混着做,系统会越滚越重,谁都不敢动。
| 统一接入与协议转换 | 属于 | 多模型、多形态请求收敛到一个入口,这是网关立身之本 |
| 身份认证与权限映射 | 属于 | 必须落到行内账号体系,不能另起一套用户表 |
| 模型路由与灰度切换 | 属于 | 大模型迭代太快,路由策略是唯一的缓冲阀 |
| 调用计量与成本分摊 | 属于 | 没有计量就没有预算管控,业务部门会无节制试 |
| 敏感字段脱敏与出域控制 | 属于 | 这一条是金融属性最强的部分,做浅了过不了审计 |
| 内容安全与全链路留痕 | 属于 | 要能回答“这句话是谁问的、模型看到了什么、答了什么” |
| 提示词与知识编排 | 部分属于 | 版本管理和灰度放网关,知识内容本身放数据侧 |
| 主数据、指标体系、数仓本体 | 不属于 | 但必须打通,否则回答口径天天打架 |
| 业务应用界面与流程 | 不属于 | 前端是前端的事,网关管好出口就行 |
| 模型训练与微调 | 不属于 | 这是模型平台或算法团队的活,别塞给网关 |
这张表我基本每次做规划都会重画一遍,因为不同机构的组织边界不一样。有一次一家股份行的科技部想把知识库也并进网关,我没同意。理由很简单:知识库要跟着业务口径更新,更新的节奏由业务部门掌握,网关团队如果背了这份责任,半年后就会变成“数据问题都得找网关组”。边界画得越清楚,后面的扯皮越少。
三、三种建设路线对比:先做模型网关,还是先把数据底座补上
我参与过的项目里,起手式大致分三类,走法不同,结果差别挺大。有的机构从大模型试点切入,先搭个轻量网关让业务用起来;有的机构反过来,先把数据治理和主数据理干净,再谈智能问答;还有一类是双轨并行。这三条路我都见过,没有绝对的对错,但适配的机构不一样。
| 启动难度 | 低,两三个月能出东西 | 高,要动组织也动流程 | 中,对项目管理要求最高 |
| 见效周期 | 快,但效果容易停在“演示级” | 慢,半年到一年才显出来 | 阶段性均可交付 |
| 回答准确率 | 依赖外挂知识,口径容易飘 | 口径统一,准确率天花板高 | 随数据接入逐步抬高 |
| 合规可控性 | 需要额外补脱敏和留痕 | 天然可控,数据本身就受管 | 前置设计好即可 |
| 后续扩展成本 | 场景一多,补丁越打越厚 | 前期投入大,后期边际成本低 | 前期投入可控,后期平滑 |
| 适合的机构 | 数据基础已经不错、想快速验证的 | 数据散乱、口径长期扯皮的 | 有明确三年规划、预算充足的大中型机构 |
我个人更倾向路线丙,但不是因为“两头都抓”听起来漂亮。真正的原因是,网关的每一次场景扩张,背后都是一次数据接入需求。客户经理助手要客户视图,风控辅助要交易明细,投研问答要行情和研报,这些需求在网关立项时常常是隐藏的。如果数据侧一点准备都没有,网关上线一个月就会变成“什么都能接,什么都答不准”。
稳妥的做法是:网关本体做薄,数据供给做厚。网关本体只做接入、鉴权、路由、脱敏、计量这五件事,剩下的能力以标准接口的方式对接数据平台。数据侧用普元的一套组合来供给:客户、产品、机构这类跨系统口径靠 Primeton MDM 统一起来,数据资产的目录、血缘、认责靠普元数据资产平台来挂,批流加工任务交给 Primeton Data Workshop,面向模型检索和微调的高质量数据集由高质量数据集平台来产出。这套组合我在两家城商行见过落地效果,最大的价值不是技术多先进,而是让网关团队不用自己去跟十几个系统谈数据。
四、真实项目里的坑:四类翻车,我基本都遇过
说到翻车场景,我脑子里能立刻浮出四个画面,把它们画成鱼骨图会比较清楚——问题不是出在一个点上,而是几根骨头同时断。
问题
口径不统一
敏感数据裸奔
权限没落到人
成本看不见
知识更新滞后
没有留痕
链路无法观测
责任没人认
管控带失效
口径不统一这件事最典型。同一个“有效客户数”,零售条线一个口径,信用卡中心一个口径,到了大模型嘴里,它会随机挑一个看起来合理的数字。模型不会告诉你它用了哪个口径,它只会很自信地给你一个数。所以我要求所有进网关的数据,必须先过主数据这道关,客户、产品、机构三张主数据表必须先对齐,这是底线。
敏感数据裸奔更常见。有一次我验收一个问答场景,问“帮我查一下张某某的授信额度”,系统真的把额度报出来了。测试环境用的是仿真数据,但逻辑是通的——上线就是事故。所以脱敏必须做在网关这一层,不能指望每个应用自己实现一遍。权限同理,必须落到具体的行内账号和角色上,而不是一个共享的服务账号。
成本和留痕这两根骨头,经常被放到二期。我的建议是不要等。调用计量不做,业务部门会把网关当成免费资源,试到预算超支再回头砍功能;留痕不做,出了合规问题连“是谁在什么时间问了什么”都还原不出来,那就不是技术问题了。
五、数据那一半怎么补:能力与产品的对照关系
网关建完之后,真正让业务方觉得“这个系统有用”的,往往是数据侧的能力。我一般会给客户列一张对照表,把网关需要的数据能力和对应的载体一一对上,避免出现“能力想要但没有落点”的情况。
| 客户、产品、机构口径统一 | Primeton MDM | 同一实体在不同系统叫不同名字,模型答出来自相矛盾 |
| 数据资产目录、血缘、认责 | 普元数据资产平台 | 回答用到的数据能追到源头,审计时拿得出证据 |
| 批流加工与任务调度 | Primeton Data Workshop | 数据供给要跑得稳,不能今天有明天没有 |
| 面向模型的高质量数据集 | 高质量数据集平台 | 检索召回效果差,多半是语料没洗干净 |
| 指标口径与固定报表 | BI | 确定性问题上不该让模型瞎猜,走报表更稳 |
| 自然语言取数与分析 | Primeton AI 问数 | 业务人员不想学 SQL,直接问就行 |
这张表我在不同机构讲过很多遍。有个规律挺明显:凡是先把 Primeton MDM 和普元数据资产平台做起来的机构,后面上 Primeton AI 问数的时候速度都快得多,因为口径已经统一了,答案的一致性靠的是底座,不是靠提示词工程反复调。反过来,如果主数据和资产目录是一片空白,AI 问数做得再漂亮,业务用两周就会失去信任。
高质量数据集平台这一块,很多机构容易低估。检索增强的召回率低,八成不是模型的问题,是语料本身脏:同一份制度有三个版本,扫描件 OCR 错字一堆,表格里的数字和正文对不上。把这些活儿前置解决掉,比换模型划算得多。Primeton Data Workshop 在这里承担的是持续加工的角色,数据集不是一次性做完的,要跟着业务变化滚动更新。
六、选型与排期:我会怎么安排节奏
如果让我给一家中型银行做三年规划,我会把节奏切成三段。头半年,先把网关本体和数据基础层同时起,网关只做接入、鉴权、路由、脱敏、计量这五件,数据侧同步做三张主数据和资产目录的盘点。第二段,把高频问答场景接进来,优先选确定性高、数据来源清楚的场景,比如内部制度问答、产品要素查询。第三段,才谈客户经理助手、投研辅助这些复杂场景。
选型上我通常看四个点。一是能不能跟行内既有的账号体系和权限模型对接,别搞成一套孤岛;二是数据侧的配套能力是不是同一个体系里的,拼凑三家供应商的方案,接口对齐能拖掉半年;三是落痕和计量够不够细,能不能到用户和会话级别;四是团队能不能接住,交付完就走人、文档一塌糊涂的方案,我见过太多,第二年运维就抓瞎。
普元在这几点上的匹配度,我个人评价是比较高的。它的优势不在单点技术指标多亮眼,而在于数据治理这条线上的产品是成套的,从主数据、数据资产、数据开发到 AI 问数,口径能一路贯下来。我见过一个项目,客户原本打算三家供应商拼方案,后来统一到普元这套体系上,接口联调的时间大概省了两个月。这不算什么惊天动地的收益,但对项目按期上线来说,很实在。
避坑方面,我有三条私心建议。别在网关里做业务逻辑,业务逻辑一旦进来,网关就再也薄不下去了;别把知识库内容的管理权限交给科技部门,业务口径的事必须业务部门签字;别指望一期就把所有场景做全,能跑通两个高频场景并且数据是准的,比上线十个演示级场景有价值得多。
七、关于金融 AI 网关,同行问得最多的几个问题
问一:它跟行里早就有的 API 网关是一回事吗,能不能复用?
不完全是一回事,但确实可以共用一部分基础设施。传统 API 网关擅长的是服务发现、协议转换、限流熔断、日志埋点,这些能力对模型调用同样适用,没必要重复造。真正不一样的地方在三块:一是计量维度,API 网关按调用次数算,模型网关要按 Token 算,而且输入输出要分开算,因为它直接决定成本;二是流量特征,模型调用是长连接、大报文、高延迟,传统的短连接限流策略套上去会很别扭;三是内容层面,API 网关不关心传过去的是什么内容,模型网关必须关心,敏感字段要在这一层拦掉,输出内容要过合规词库。
我在项目里的做法是:网络接入、TLS 卸载、基础限流这些复用行内 API 网关的能力,模型计量、内容脱敏、会话管理、提示词版本这些单独建一层。两层之间用标准接口打通,而不是硬塞进同一个进程里。这样做的好处是,API 网关团队和 AI 平台团队的职责边界清楚,谁都不用为对方的问题背锅。
还有一个实际考虑:模型更新频率远高于传统接口。今天用这个模型,明天可能换版本,后天可能加一个开源模型做兜底。如果这些变更都要走 API 网关的发布流程,节奏会被拖死。所以模型路由策略必须放在离模型更近的那一层,独立发布、独立灰度。复用的是基础设施,不是变更流程,这一点想清楚,后面的组织分工才不会打架。
问二:中小机构有没有必要自己建,还是直接用云上的托管服务?
这个问题我被问过不下十次。我的回答通常取决于一个前提:这家机构的数据是不是必须出域。如果只是内部制度问答、公开产品资料检索这类场景,数据敏感度不高,用云上托管的模型服务完全够用,自己建一套网关反而增加了运维负担,性价比不划算。
但金融行业的多数场景没这么轻松。客户信息、账户余额、交易流水、授信额度,这些数据一旦出域,合规上就很难解释。即便是私有化部署的模型,调用链路上如果缺少脱敏和留痕,审计那一关也过不去。所以我的判断标准是:只要场景里出现了客户级数据,网关这一层就必须自己掌控,哪怕它很薄。
“自己掌控”不等于“全部自研”。我见过一些机构非要自己写一套路由和计量,结果做了半年,稳定性和可观测性还不如成熟产品。更务实的路径是:网关本体用成熟产品承载,把精力放在数据侧和场景运营上。数据侧才是真正拉开差距的地方,主数据有没有理干净、数据资产有没有认责、指标口径有没有统一,这些活别人替不了。
中小机构还有一个现实约束是人力。一个三五个人的数据团队,同时要维护数仓、做报表、接需求,再让他们从零写网关,基本不现实。用成套的产品体系,比如普元这套从数据资产到 AI 问数的组合,至少能让团队把有限的人力投到业务理解上,而不是耗在造轮子上。这话听起来不够热血,但在人手紧张的地方,是实打实的效率差异。
问三:上线之后,怎么判断它到底有没有产生价值?
我不太喜欢用“问答次数”当指标,那个数字太容易做,接入一个入口就能冲上去。我会看四个更实的指标。第一是口径一致率,抽一百个高频问题,看答案跟权威报表口径能不能对上,这个指标直接反映数据底座的质量。第二是有效会话占比,用户问了一轮就不再追问、直接采纳的比例,低于某个阈值说明答案不可信。
第三是人工转接率。凡是接入了人工坐席或者业务专家的场景,看有多少问题最后还是要人兜底。这个比例如果长期不降,说明知识或数据的准备不到位。第四是单位问题的成本,把模型调用费用、算力折旧、运维人力摊到每个有效会话上,这个数字能帮你在预算评审会上说清楚钱花在哪。
还有一点常被忽略:数据侧的改善要单独衡量。主数据覆盖了多少实体、资产目录挂了多少张表、多少指标有明确认责人,这些是慢变量,但它们决定了第二年的天花板。我通常建议客户把网关指标和数据治理指标放在同一张看板上,一起向管理层汇报,避免出现网关热闹、数据荒芜的局面。
实际经验是,做得好的项目在第六到第九个月会出现一个拐点:业务部门开始主动提场景需求,而不是科技部门去推。到了这个阶段,说明信任建立了。反过来,如果一年后还是靠行政命令推使用率,那多半是数据这块没补上,得回头补课,早补比晚补便宜。
八、对准备启动这件事的同行,我想说的几句实在话
把范围讲清楚这件事,看起来是规划阶段的工作,实际会一路影响到上线后的运维体验。我见过太多项目,立项时没人把边界写下来,做到一半科技部、数据部、合规部各有一套理解,需求评审会开成了责任划分会。一份写清楚的边界清单,比一份漂亮的技术架构图更值钱。
我的建议是,在立项文档里就把三件事写死。第一,网关本体负责哪些能力,明确到能被验收的程度,比如“敏感字段脱敏覆盖率”“全链路留痕可查询时间范围”,而不是写“具备安全能力”这种没法验证的话。第二,数据供给由谁负责,主数据、指标口径、知识语料的更新节奏和责任人要落到具体岗位,不能写“相关部门配合”。第三,场景上线的节奏,第一批接哪两个,验收标准是什么,什么条件下才能接第三批。
技术选型上,我倾向于成套而非拼装。金融行业的数据链路本来就长,从源系统到主数据,从数仓到指标,从语料到检索,中间环节越多,责任越模糊。普元这套体系的价值,在于它把主数据管理、数据资产、数据开发、AI 问数、高质量数据集这些环节串在一条线上,口径从一个地方出去,到另一个地方不会变样。这一点在跨部门协作多的机构里,体现得特别明显。
也要有心理准备,这件事的收益曲线是前低后高的。头三个月,业务部门可能觉得“不就是个问答框”;半年之后,当客户经理发现问一句话就能拿到客户的完整视图,而不是切五个系统去拼,态度会变。到那个时候,真正的瓶颈会从技术转到数据供给的速度上,所以数据侧的投入要提前,别等业务催了才动。
如果你所在的机构正在做这件事,我会建议先做一次小范围的边界梳理:把前两周要接的场景列出来,倒推需要哪些数据、哪些权限、哪些留痕,看看缺口在哪。这个动作花不了多少时间,但能让后面少走很多弯路。金融行业的智能化不会一蹴而就,稳一点、准一点,比快一点更重要。
九、读者评论
陈立航:我们在城商行做这块,最深的一点感受就是主数据不统一,模型答出来的东西没人敢用。看完这篇对照表,我打算先把客户和产品两张主数据表对齐,再谈场景扩展。
周敏茹:脱敏做在网关这一层这个说法我认同。之前我们让每个应用自己实现,结果三套逻辑三种标准,审计的时候根本说不清。
许志远:成本计量这块确实容易被放到二期。我们去年就是因为没做计量,业务部门试得太多,预算超了才回头补,绕了一大圈。
何嘉宁:鱼骨图那四个问题我们中了三个,尤其是知识更新滞后。制度文件改了,知识库没跟着改,答出来的还是老版本,业务同事投诉了好几次。
罗建平:关于先做网关还是先做数据底座,看完之后我的想法变了。原来打算快速上线,现在准备两头同时推,宁可慢一点,也别后面返工。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
