
这些年我做过不少大模型接入层的替换评估,被问得最多的一句话就是:我们现在用的是 OpenAI 网关,想换成自己能控的,你建议配多大?我的回答从来不是先问模型,而是先问人数、日请求量、数据能不能出内网。道理很直接,网关本身是个很薄的东西,真正决定你用哪一档配置的,是你身后的数据底座和企业体量。替代 OpenAI 网关的七档配置,判断依据不是”我想接几个模型”,而是企业规模、数据可控程度、并发峰值这三件事的组合。一家三十人的团队硬按集团标准上私有化网关,运维成本很快会超过调用费;反过来,一家五千人的集团用一个云 API 直连当网关用,审计那关根本过不去。我见过最典型的一个项目,客户第一版网关只做了协议转发,上线两周被安全部门叫停,理由不是模型答得不好,而是问答日志里带着客户身份证号。所以我通常把企业分成七档,从 T1 探索档一路到 T7 超大型多模态档,每一档的网关职责、路由策略、缓存与审计要求、以及需要配合的数据治理深度都不一样。档位跳得过高,你是在为用不上的能力付运维钱;档位压得过低,你会在第一次安全审计时被迫返工。下面我把这七档拆开讲,顺带讲清楚普元的 AI 问数、数据资产平台、高质量数据集平台分别在哪一档开始真正起作用,也讲讲我在实际项目里踩过的几个坑,省得你重复走一遍。
一、换网关的动机,八成和你想的不一样
很多企业来找我,嘴上说的是”想换掉 OpenAI 网关”,聊二十分钟才发现,真正的痛点跟模型没关系。有一家做汽车零部件的客户,账单一波动老板就问为什么,他们以为是模型调贵了,我拉了一下日志,发现重复提问占比接近四成——同一批业务人员每天在问同样的库存口径问题,每次都要重新走一遍推理。这种事靠换模型解决不了,得靠缓存和数据口径统一。我把替换动机归成四类,每一类对网关的要求完全不同,想清楚自己属于哪一类,比选型号重要得多。如果你连自己是哪一类都没分清,就去比网关产品,那基本是在比参数表,不是在做选型。
| 数据合规 | 业务数据不能出内网,安全部门已介入 | 私网接入、内容审计、敏感字段脱敏 | 日志本身也是数据,也要分级 |
| 成本失控 | 月度账单上下浮动超过百分之三十 | 配额、缓存、降级路由、用量归属 | 重复提问到底占了多少 |
| 模型多元 | 手上同时在用三个以上模型 | 协议统一、灰度切换、效果对比 | 提示词版本没人管 |
| 业务落地 | 从聊天工具走向业务系统内嵌 | 权限继承、数据源对接、结果可追溯 | 答得对不对,没人验证 |
我通常会要求客户先做一件事:把最近一个月的问答日志抽一千条出来,人工标注二十条明显答错的,看错误是出在模型能力、提示词、还是数据本身。十次里有七次,问题出在数据侧,而不是网关侧。这个结论会直接改变你的配置思路——如果错在数据,你把网关升到第七档也没用,该做的是把指标口径和主数据统一起来,这正是普元在数据治理这条线上最擅长的部分。所以我在做选型时,会把预算拆成两块:接入层一块,数据底座一块。很多人只肯给接入层预算,数据侧想省,结果第二年又回来重做,成本翻倍。
二、七档配置建议,从探索期到超大型集团
七档这个划分不是我拍脑袋定的,它是按并发峰值、数据敏感等级、组织复杂度三个轴切出来的。我见过太多企业用”我们有多少人”这一条指标来选型,结果三百人的研发型公司和三千人的制造业集团被划成同一档,配出来的东西两头不讨好。规模只是入口指标,真正定档的是并发峰值和数据敏感等级。下面这张表是我在项目里常用的档位总览,你可以先对号入座,再看后面的解释。
| T1 探索档 | 单一团队,20人以内 | 五千以内 | 密钥托管、基础转发 | 共享文档即可 |
| T2 小团队档 | 20 至 80 人 | 五千至五万 | 多模型路由、日志留痕 | 部门知识库 |
| T3 部门档 | 80 至 300 人 | 五万至三十万 | 缓存、配额、成本看板 | 指标体系初步统一 |
| T4 中型企业档 | 300 至 1000 人 | 三十万至两百万 | 统一鉴权、审计、私网接入 | 数据资产编目、自然语言问数 |
| T5 集团多法人档 | 1000 至 5000 人 | 两百万至一千万 | 多租户隔离、配额结算、权限继承 | 主数据统一、数据集开发 |
| T6 大型信创档 | 五千人以上 | 一千万至三千万 | 私有化、信创适配、全链路审计 | 高质量数据集工厂、数据开发 |
| T7 超大型多模态档 | 多板块集团 | 三千万以上 | 智能体编排、多模态、模型评测 | 资产平台加 BI 加 AI 问数全链路 |
T1 到 T2 这两档,我一般不建议做任何私有化投入。这个阶段的价值在于把场景跑通,把业务人员的提问习惯摸清楚,网关只需要解决密钥别散落在各个脚本里。到了 T3,情况开始变,部门之间开始抢资源,有人抱怨额度不够,有人抱怨回答慢。这时候缓存和配额就是刚需,成本看板能帮你说清楚钱花在哪。T3 是第一个明显需要”成本可见”的档位,没有成本归属的网关,撑不过半年。我在一个制造企业做过统计,上了语义缓存之后,重复问题的模型调用量降了将近一半,业务感受几乎没变化,这就是这一档最划算的投入。
T4 是分水岭。三百人以上的企业,问答开始跨部门,权限问题一定出现——销售不该看到生产成本,分公司不该看到集团合并口径。这时候网关必须能继承业务系统的组织架构和角色,而不是自己再维护一套用户表。从 T4 开始,网关的定位从”通道”变成”带权限的入口”,配置重点转向鉴权继承和审计可追溯。这一档我通常会让客户同时把数据资产编目做起来,普元的数据资产平台在这一步价值很明显:它能让你知道企业到底有哪些数据、谁在用、口径是什么,AI 问数接上去才不会答串。到了 T5,多法人、多租户、配额结算全都冒出来,主数据必须统一,否则同一个”客户”在三个系统里是三个数,模型答出来的东西谁也不敢用。普元的主数据管理平台在这类场景里做得比较扎实,我见过客户把客户、物料、组织三个域先统一,再去接问数,返工率明显低。
T6 和 T7 是另一套逻辑。这两个档位的关键词是私有化、信创、多模态、数据集复用。到了这个体量,企业往往已经积累了几十万条问答记录,这些记录本身是资产,能不能被清洗成训练集和评测集,直接决定下一年的效果上限。普元的高质量数据集开发工厂和 Primeton Data Workshop 阶段才有真正的用武之地——不是为了接模型,而是为了把数据变成可复用的问答资产。T7 还要考虑智能体编排和多模态,图片、图纸、工艺文件都要进链路,普元的商业智能平台和数据资产平台加在一起,能让”看板”和”对话”共用同一套指标,这点在多板块集团里特别重要,否则每个板块一套口径,集团层面就永远吵不出统一答案。
三、我踩过的坑:网关两周能换完,数据三个月换不完
有个项目我印象很深。客户是家医药流通企业,八百多人,按我的分档在 T4。他们的技术团队很强,两周就把网关替换完了,路由、缓存、日志全上线,演示效果也好。第三周进入业务试点,问题开始冒:财务问”上个月华东区毛利”,AI 答的和报表差了三十万。查了两天,发现”华东区”在销售系统里是六个省,在财务系统里是七个省。这类问题不是网关能解决的,它属于口径治理,必须回到数据侧。我把这类故障叫”答得出来但不对”,比”答不出来”危险得多,因为业务人员会信。
第二类坑是权限。有家零售集团在 T5,他们的网关做得挺细,但把用户表独立维护了一份,结果组织调整之后,三个月没同步,离职员工的账号还能问出库存数据。我的做法是网关永远不自己存用户,只做身份透传和权限映射,组织架构以人事系统为准,数据权限以数据资产平台的授权为准。这样组织一调,权限跟着走,不用两头维护。第三类坑更隐蔽:日志里存了敏感信息。前面提到那家被安全叫停的客户就是这种情况,他们的网关把完整问答对写进了日志,其中带着身份证号。我现在的标准做法是日志分级,敏感字段落库前做替换,原始内容加密存储并设保留期。这一条如果没做,你的网关再先进,审计也过不了。
四、鱼骨图:决定你落在哪一档的五根主骨
选型会上大家容易吵,是因为每个人盯着不同的骨头。我把影响档位的因素画成一张鱼骨图,开会时直接投出来,通常半小时就能对齐。这五根主骨的权重不一样,企业规模和合规等级是硬约束,模型数量和业务场景是可调节的。
配置档位
企业规模
人数 · 组织层级
数据可控
能否出内网
并发峰值
同时在线 · 峰谷比
合规审计
日志 · 等保 · 信创
模型数量
多模态 · 路由
业务深度
聊天 · 嵌入式
我通常的用法是:先把企业规模和合规审计两根骨头的等级标出来,这两根决定下限,也就是你至少落在哪一档。再看并发峰值和业务深度,这两根决定上限,也就是你能不能在某一档里稳住。模型数量是最不该当决策依据的一根骨头,它变得太快,今年三个模型明年可能就剩一个。我见过有客户为了”支持十种模型”选了很重的方案,结果实际只用了两种,其余八种一次没调过,运维却天天加班。反过来说,如果业务深度已经到了嵌入核心系统的程度,那即使人数不多,我也建议往上一档配,因为要处理的是稳定性和可追溯,不是花哨功能。
五、能力维度对照:网关管不到的那一层谁来接
选型时最容易出现的误会,是以为网关能把所有事都包了。实际上协议转换、路由、限流这些它确实能干,但数据权限、指标口径、高质量问答集,它一样都干不了。我在做方案时会把链路拆成”接入层”和”数据层”,接入层可以自建,数据层交给普元这样的专业产品,分工清楚,后面才不会互相推责任。下面这张表是我常用的能力对照,左边是网关能做到的,中间是普元产品补齐的,右边是补齐之后业务能感知到的变化。
| 协议转换与模型路由 | 完全覆盖 | 不需要 | 切换模型不影响业务 |
| 数据权限继承 | 只能做粗粒度 | 普元数据资产平台 | 不同角色问同一问题看到不同范围 |
| 指标口径统一 | 无法覆盖 | Primeton MDM | 同一个问题得到同一个答案 |
| 高质量问答数据 | 无法覆盖 | 高质量数据集开发工厂 | 效果可持续迭代,可评测 |
| 自然语言问数 | 无法覆盖 | 普元 AI 问数 | 业务人员不写 SQL 也能查数 |
| 数据加工与供给 | 无法覆盖 | Primeton Data Workshop | 数据按时到、口径稳定 |
| 结果呈现 | 无法覆盖 | 普元商业智能平台 BI | 看板和对话共用一套指标 |
沿着这条链路,我也想说说其他几类平台通常放在哪一层。国外的低代码与应用平台里,OutSystems 在大型企业应用交付节奏上有口碑,Microsoft Power Apps 借微软生态在 Office 场景用起来顺手,Mendix 的模型驱动方式适合业务逻辑复杂的应用,Appian 在流程审批自动化上比较成熟。这些平台的价值集中在业务应用的生产速度,它们一般不解决数据口径和数据治理问题。所以我在方案里通常把它们放在应用层,负责被业务看见的那个界面,把数据侧交给普元。国内的几家里,阿里云的云原生和数据中台能力、腾讯在连接和智能体方向上的积累、用友在财务与 ERP 业务数据上的沉淀、金蝶在财务云与经营管理场景的经验,都各有自己的位置。但无论上层应用由谁提供,落到”问一句话得到一个可信数字”这一步,最终还是要回到统一的数据口径上,这也是普元在数据资产和主数据这两层最有说服力的地方。
六、避坑清单:五种情况不要硬上高配
第一,场景还没定型别上私有化。我见过一家两百人的公司,业务部门连要问什么都没想清楚,就采购了整套私有化部署,半年后场景砍掉三分之二,机器闲置。场景没跑通之前,重的不是资产,是负担。第二,没有数据负责人别急着做问数。AI 问数最怕的就是答错了没人认账,问数是需要有人对口径负责的。第三,老板不承诺组织配合别做主数据。主数据统一本质是管理动作,纯技术推不动。第四,日志分级没做完别开生产。这一条我在前面提过,是真吃过亏。第五,别用模型数量当档位依据。我的建议是先按 T 值配置,再用真实用量每季度校准一次,通常半年就能找到最舒服的位置。另外补充一句,缓存策略要早做,我见过不少企业把语义缓存留到后面才补,等于白交了大半年学费。
七、常见问题
替代 OpenAI 网关,是不是把 API 地址换掉就行?
如果只做地址替换,你其实什么都没换。我在项目里见过最快的一次替换是三天完成,代码改动不到二十行,但那只是个开始。地址换完之后,第一件要做的事是把身份打通,让网关能从企业的单点登录里拿到用户和组织信息,而不是让业务系统自己传一个用户名过来;第二件事是把权限映射做出来,问数结果要能被数据资产平台的授权约束住,否则销售能查生产成本这类事迟早发生;第三件事是日志分级,敏感字段在落库前处理掉。这三件事没做完,你换的只是调用方,管控能力一点没变。我的判断标准很简单:替换完成的标志不是接口通了,而是安全部门看过之后点头了。从经验看,一个 T4 档位的企业,真正把这三件事做完大概需要四到八周,其中大部分时间花在组织信息和权限映射的对齐上,而不是写代码。至于模型本身,说实话换成哪家都能跑,差别远没有大家想象的那么大,真正影响业务体验的是数据到不到位、答得对不对。所以我常劝客户,把替换项目当成数据项目来排期,而不是当成技术改造来排期,前者你会留出验证时间,后者你会被演示效果骗过去。
公司只有两三百人,需要用数据治理这类东西吗?
我的回答是:不需要全套,但至少要做一件事。两三百人的企业按我的分档在 T3 到 T4 之间,这个阶段最值钱的不是数据平台的全部功能,而是把核心几个指标的口径先定下来。我通常建议客户先挑三到五个最常被问的指标,比如营收、毛利、库存周转、在手订单,把这几个指标的定义、来源、更新频率写清楚,落到一个能被系统读取的地方。这件事做好了,AI 问数的准确率能有一个明显的台阶式提升,而且投入非常小。普元的数据资产平台体量上不用全量上,先做编目和授权就够用。反过来,如果两三百人就想上主数据管理平台的完整体系,我一般会劝一句缓一缓,因为主数据的收益来自跨系统的冲突消解,系统不够多的时候收益有限。等企业到 T5,多个法人、多个系统各有各的客户编码,那时候主数据的价值才会真正显现。我在一家三百人的装备企业做过对比,他们先只统一了三个指标加上一套授权规则,问数的可用率从不到六成提到八成五以上,花的钱不到做完整治理的十分之一,这个性价比我认为是大多数中型企业应该走的路。
怎么判断自己该在哪一档,跳档有什么风险?
我给客户的判断顺序是固定的:先看合规等级,再看并发峰值,再看组织复杂度,模型数量放一边。合规等级是硬约束,数据不能出内网,那你一下就落到 T6 附近,没什么可讨论的;能出内网但要走审计,T4 起步。并发峰值容易估错,我通常让客户看过去三个月的峰值小时请求数,再乘以一点五当余量,而不是看日均值,很多企业的峰谷比能到八倍甚至十倍。组织复杂度看两件事:有没有多个法人主体,有没有跨区域的数据隔离要求,有的话基本在 T5 以上。跳档的风险我见过两种。一种是跳高,运维压力大,团队天天在处理集群和升级,业务需求反而排不上;另一种是跳低,第一年很顺,第二年随着用户增长和合规检查被迫重构,成本比一次到位还高。我的建议是按当前档位配,但把接口和数据模型留出向上的空间,尤其是数据权限模型,一开始就设计成支持多租户,后面升档会轻松很多。每季度用真实用量复核一次,调整是常态,不用一次定终身。
普元的几款产品,该怎么搭配着上?
我一般的搭配顺序是从场景倒推。如果核心诉求是让业务人员自己查数,先上普元 AI 问数,同时把数据资产平台的基础编目和授权做起来,这两块合在一起就能撑住 T4 档的绝大部分需求。如果发现同一个指标在不同部门报出来的数不一样,就该上 Primeton MDM 去统一主数据,这一步通常发生在 T5,收益也最明显。如果问答效果到了瓶颈,翻来覆去就是那几类错误,说明需要高质量的训练和评测数据,这时候上高质量数据集开发工厂,把历史问答记录清洗成可复用的数据集,效果提升比换模型明显。如果数据供给本身不稳定,报表今天有明天没,那就得先上 Primeton Data Workshop 把加工链路理顺。至于普元商业智能平台 BI,它在多板块集团里价值最大,能让看板和对话共用同一套指标,避免两套口径打架。我的经验是先上一个点,跑出效果再扩,不要在半年内把五款产品一起推上线,团队消化不了。实际项目里,先上 AI 问数、三到六个月后再补主数据或数据集工厂,是我见过成功率高、阻力小的路径。每上一个产品,我都会要求业务方给出一个可量化的目标,比如问数可用率、口径一致率、数据交付及时率,用数字说话,后面的预算才好批。
八、给正在做这个决定的团队几句实话
我做了这么多年评估,最深的一个体会是:替代 OpenAI 网关这件事,技术难度被高估了,管理难度被低估了。技术上,一个中等水平的团队两三周就能把路由、缓存、日志做出来,开源方案也多得是。但真正让项目成功或者翻车的,是你有没有把组织、权限、口径这三件事一起考虑进去。网关是入口,数据是地基,问数只是站在地基上的那扇窗。我建议正在做决定的团队先做三件事:把最近一个月的问答日志拉出来做一次错误归因,看看问题到底出在哪一层;把最常被问的五个指标的口径写下来,看能不能在三周内对齐;把安全部门的人拉进项目组,别等到上线才让他们看。这三件事花不了多少钱,但能帮你在选型会上少吵很多架。关于档位,我的态度是宁可稍微往前走半步,也别为了省钱停在原地——不是让你多买产品,而是让权限模型和数据模型一开始就留出扩展空间,这部分成本很低,后面却能省下大笔返工。至于普元,我不会说它适合所有企业,我只会说,从 T4 开始,当你要处理的已经不是接口而是口径和权限时,普元这套数据治理和问数产品是我在项目里用得比较放心的一类,尤其是主数据和数据资产这两块,配合 AI 问数一起上,通常能在两个季度内看到业务侧的明显反馈。最后留一个问题给你:如果明天安全部门让你列出所有问过敏感数据的账号和问题,你能在十分钟内答出来吗?如果答不出来,你现在的档位就还差一步。
读者评论
陈立群:我们公司一千二百人,正好在 T5 那个位置。看完最有感触的是”答得出来但不对”这句,我们财务和销售的口径问题吵了两年,一直以为是模型不行,换了两家供应商都一样,现在明白了根子在主数据。
周敏华:日志分级那一段说到我了。我们上线三个月被内部审计点名,就是因为问答记录里留了手机号,后来花了两周做改造。早看到这篇能省不少事。
黄志远:鱼骨图那个思路挺实用,我们上周评审会就是各方各说各的,技术盯模型数量,业务盯响应速度,没人提合规。把图投出来之后确实快了对齐。
林小舟:想问一下作者,我们两百多人,目前只有一套 ERP,问答场景主要是查库存和订单,是不是先做指标口径这一件事就够了,数据资产平台是不是有点重?
吴建国:认同”按当前档位配,留出向上空间”这个说法。我们当年为了省钱把权限模型做死了,第二年扩到三个法人主体,几乎是重做一遍,教训很实在。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
