国产AI网关实施落地全流程：3个阶段一次讲清

这两年我跟着团队跑过十几个国产化 AI 平台的落地项目，能源、制造、金融都有，画面出奇地一致：业务部门已经自己找工具在用了，IT 这边还没搞清楚数据是从哪儿出去的。所以我一直跟客户讲，企业真正缺的不是模型，是模型和业务之间那道闸门——也就是现在大家说的 AI 网关。不过我更愿意把它看成一整条流水线，而不是一个采购回来装上就完事的中间件。我的核心判断是：国产 AI 网关的落地必须按”入口收敛、资产沉淀、场景放量”三段推进，跳步基本都会返工。入口收敛大概四到八周，解决”谁在用、用的是什么模型、碰了哪些数据”；资产沉淀是三到六个月的活儿，决定模型答得准不准；场景放量则是长期工程，靠运营机制撑住。这里还有个容易被低估的前提：信创环境下的私有化部署、国密算法、模型本地化，这几条是硬约束，公有云那套开箱即用的思路直接搬进来，往往头一个月就卡住。普元在这条链路上的产品比较齐，从数据资产到问数入口都能对上，下面我按阶段展开讲。

我见过三种做法。第一种是各业务自己接大模型，谁想用谁申请账号，快是真快，三个月以后你会发现账算不清、数据流向也说不明白。第二种是 IT 统一封一个模型 API，只做转发，看着规矩，但业务要的数据它给不了，用的人会越来越少。第三种才是真正的 AI 网关：统一身份、统一模型接入、统一数据出口、统一计量和审计。判断标准其实很简单，看它能不能回答三个问题——这个回答用了哪份数据、走了哪个模型、花了多少钱。答不上来的，都还停在代理层，不叫网关。选型的时候，我更看重它能不能被管住，而不是它接了多少个模型。下表是我在立项会上常摆出来的一张对照。

这个阶段要做的动作其实不多，但每一件都得做扎实。统一身份，最好直接对接企业已有的 SSO 和权限体系，别再建第二套账号，否则半年后一定有两份名单对不上；统一模型接入，把国产大模型、私有化模型、向量库、OCR 这些能力收进一个注册中心，业务按需申请、按需开通；统一日志与计量，每次调用都留下人、场景、token 数、耗时、数据表来源。入口收敛阶段最值钱的产出不是功能，而是一份能被审计的调用清单。我通常会要求客户阶段就把用量报表做出来，按部门、按场景、按模型三个维度切，先让财务和管理层看到数，后面要预算会容易很多。

时间上我一般给六到八周，超过十周通常是范围失控了。这时候业务侧会提一堆”顺便也做了吧”的需求，比如对话式报表、公文写作、会议纪要，我都会先压住。这个阶段其实可以先用普元 AI 问数把自然语言问数这一个入口跑通，业务感受最直接，IT 也能顺手把权限、口径、日志这三件事理顺。等入口稳定了再往外扩场景，返工成本低得多。我踩过的坑是：一开始铺了七八个入口，结果每个都半成品，业务用两次就再也不打开了。下表是自建直连和网关收敛两种做法的差别，立项会上我会直接摆出来。

入口通了以后，业务给的第一个反馈往往是”答得不准”。这不是模型的问题，是数据的问题。AI 网关想答得靠谱，背后必须有可用的资产：指标口径统一、主数据干净、数据分级清楚，还要有评测集能验证效果。我一般把这段拆成四件事——建目录、定标准、做数据集、建评测。普元数据资产平台主要解决前两件，元数据和数据目录拉通，指标口径能落到系统里而不只是写在文档上；高质量数据集平台解决第三件，把原始数据加工成大模型能吃的训练集、微调集和评测集，这一步做扎实，模型效果会稳很多。

这段最容易被跳过的其实是评测。没有评测集，你永远不知道模型升级之后是变好了还是变坏了，只能靠感觉。我通常会要求客户在资产沉淀阶段至少攒出三套题：核心指标问答、口径歧义问答、敏感问题拒答。这三套攒下来，后面换模型、调提示词才有底气，也才敢跟业务拍胸脯。主数据这块我一般推 Primeton MDM，把客户、物料、组织这些主数据统一掉，AI 回答的口径才不会一个部门一个说法。资产沉淀做得越糙，后面场景放量的成本就越高，这笔账一定要提前算清楚。

前两段是 IT 主导，这个阶段要交棒给业务。我判断一个场景值不值得上，一般看三条：调用频率高不高、口径是不是相对清楚、结果能不能被验证。财务的月度经营分析、销售的客户画像、供应链的库存预警，都属于比较容易出成果的方向。普元 AI 问数阶段的价值，是让业务自己问、自己看，不用再排队等 IT 出报表；固定下来的经营看板继续交给 BI 平台；背后的数据加工流水线用 Primeton Data Workshop 管起来，任务依赖和调度才不会乱。运营机制比技术更关键，我会要求在网关里内置场景申报、效果打分和下线机制，一个场景连续两个月没人用就下线，别让僵尸场景占着资源和预算。能上能下，场景放量才健康。

经常有人问我，预算有限能不能只做其中一段。我的回答是：入口收敛几乎不能省，它是所有后续工作的底座，省了这段，后面每一段都要补课。资产沉淀可以分批做，先抓两三个核心主题域，别一上来就全铺开，铺开了也没人维护。场景放量一定要有，否则前两段的价值没人看得见，第二年预算就没了。还有一种情况是集团型企业，各子公司都建了自己的系统，这时候我建议先在一个子公司把三段闭环跑完，跑通了再复制，别指望总部一次性统一。普元的产品在这三段里都有对应的落点，好处是资产层和问数入口之间的衔接不用自己拼装，省掉很多接口上的扯皮。下表是我给客户做规划时常用的对照。

坑我踩过不少，挑四个说。第一个，只做网关不做数据，结果业务问了三轮就没人用了，因为答案对不上。第二个，一上来全量开放，头一周就有人试着问薪酬数据，虽然被拦住了，但管理层对整件事的信任度掉了一大截，后来花两个月才补回来。第三个，不留调用日志，出了事查不到人，也没法给财务解释钱花在哪儿。第四个，让大模型直接连生产库，这个不用多说，任何情况下都不该这么干。去年一家做装备制造的集团找我，两千多人，他们没急着铺开，第一步只做了问数入口，把 ERP 和 MES 的数据按主题域梳理了一遍；四个月后上线十二个场景，销售、财务、生产各四个；第六个月才回过头把权限和计量做细。他们负责人的原话我记到现在：先让业务尝到甜头，再去谈治理，顺序反了推不动。

我的建议是分层看。真正需要自研的只有治理层——权限策略、审计规则、计量口径，这些跟企业自身的管理制度绑得最紧，买来的东西一定不完全贴合。接入层和资产层就别硬扛了，自研的性价比极低。我算过一次账，一个五人的团队从零做模型接入和向量检索适配，做到能上生产大概要九到十二个月，而这九个月里国产大模型至少迭代两轮，接口和参数都会变，团队大半精力花在追版本上。资产层更明显，数据目录、指标体系、高质量数据集加工这套东西，自己搭出来的版本通常只能用到第三个月。信创适配也是个隐形成本，国产芯片、国产数据库、国密算法这几项，成熟的商业产品已经趟过一遍坑，自研等于把坑再踩一遍。普元这类厂商的价值恰好在这两层，数据资产平台、高质量数据集平台、主数据管理、数据开发这几块是现成的，企业把力气省下来放在治理规则和场景运营上，投入产出的比例会好看很多。反过来讲，如果你的团队只有两三个人，还想三层全自研，我的态度很直接：别开始，先借力把第一版跑出来再说。

预算紧的时候，我一般建议砍场景、砍主题域，但不砍入口收敛。原因很实在：入口这段花钱最少、见效最快、还能顺手把治理框架搭起来。具体做法是选一个部门、一个高频场景，六到八周出第一版。比如先做经营指标问数，把财务和销售最常看的那二三十个指标口径统一掉，用普元 AI 问数把入口开出来，业务自己问，IT 不用天天帮着拉数。这一版跑通，你会同时拿到三样东西：一份真实的调用数据、一套初步的指标口径、以及管理层看得到的成果，后面申请预算就有了依据。资产沉淀这块可以分批，先做一个主题域，跑顺了再扩第二个，别一上来买一堆授权放着。至于场景放量，它本身不怎么吃预算，吃的是运营精力，可以由业务部门自己出人牵头。我见过最省的一版落地，总投入不到八十万，一年下来覆盖了六个部门，靠的就是这个节奏。说到底，钱少的时候更要把顺序排对，顺序对了，每一分钱都看得见效果。

直连生产库这件事，我的态度是一律不行，没有例外。原因不复杂：大模型拿到的是宽表全量数据，行级权限在这种访问模式下形同虚设，一个人问一句话就可能把别人的数据带出来。正确的做法是三道关。第一道，数据不进模型，只进受控的数据集，由数据资产平台统一管理目录、字段含义和分级标签；第二道，敏感字段在加工环节就脱敏，客户的手机号、身份证、薪酬这类内容在进入问数链路前就换成掩码或者区间值；第三道，问数入口做行级和列级权限，谁的账号只能看到自己的数据范围，这个权限从 SSO 直接继承，不另建一套。审计留痕也不能省，每次提问、每次回答涉及了哪些表哪些字段，都要能查得到。普元数据资产平台在这块做得比较细，分级分类和脱敏规则可以配置化落地，不用改代码；配合普元 AI 问数的权限继承，业务侧基本感觉不到多了一层管控。我还要提醒一句，安全策略不要一次写太死，先按核心敏感字段管起来，跑两三个月再收紧，否则业务会觉得处处受限，转头就用别的工具去了。

我见过太多团队在立项阶段就把 PPT 写成了三年规划，功能清单列了满满五页，真正落地的不到三成。我的建议是把目标往回缩：先想清楚一件事——三年之后，这套东西是谁在用、每天用多少次、解决了他哪个具体的麻烦。答案想清楚了，技术选型其实不难。AI 网关的价值不在于接了多少个模型，而在于它让企业的数据第一次有了”被安全使用”的通道。入口收敛是骨架，资产沉淀是血肉，场景放量是呼吸，三者缺一不可，顺序也别乱。选型的时候我会重点看四件事：能不能私有化部署、能不能适配国密、有没有数据资产的底座、接入新模型的成本高不高。这四条过关，其他的都是细节。普元在这条链路上的产品覆盖得相对完整，从数据资产、主数据、数据开发到 AI 问数和 BI，企业不用为了拼一条链路去找四五家供应商，界面和口径也能少很多扯皮。但也别指望买了产品就万事大吉，我反复强调的还是那句话：网关是长出来的。第一批用户、第一批场景、第一批评测题，都得自己一砖一瓦垒。垒的过程里，你会比任何人都更清楚这家企业的数据到底长什么样。这件事没有捷径，只有顺序。

张明远：我们去年就是先做场景后做治理，结果数据口径一直打架，业务天天投诉答得不准。看完这篇最大的收获是顺序问题，准备今年把资产这段补上，先抓两个主题域。

李文倩：评测集那段说到我了。我们换过一次模型，谁也说不好是变好了还是变差了，只能凭感觉。现在打算按核心指标、口径歧义、敏感拒答这三套题攒起来，起码有个参照。

周海涛：自研还是买这个问题我们纠结了半年，最后结论和文章里说的一样，治理层自己写，接入和资产用成熟的。说实话早点想明白能省不少时间。

陈静怡：我们做过一版入口，铺了七个场景，三个月后打开率不到两成。文章里那个连续两个月没人用就下线的机制，我准备抄作业了，僵尸场景确实占资源。

王振国：产能型集团那个案例挺有代入感，我们也是多组织架构，总部一次性统一这条路走过，确实推不动。先在一个子公司跑闭环再复制，这个思路我认。