模型成本优化的概念是什么？系统讲一讲

模型成本优化，先把它当成一笔细账来算

我见过不少团队一谈模型成本优化，脑子里蹦出来的第一个念头就是换个更便宜的模型，或者把提示词砍短一点。这两招有用，但它们是账本上最上面那一行。真正压在成本里的，是数据准备、算力调用、人工复核、重复建设这几块加在一起的总数。我的定义很直白：在业务能用的前提下，通过数据供给、场景收敛、调用治理、组织协同四条路，把单位业务结果的模型投入压下来。要注意是单位业务结果，不是单位调用单价。一毛钱的调用换来十分钟无效沟通，这单还是亏的；贵一点的模型配上干净数据，一次就把事办成，反而是省的。这个账很多团队算拧了，因为算力账单每月准时出现在财务桌上，而数据治理的钱藏在人力预算里，没人给它贴标签。所以我会要求客户先按来源把成本拆开，再谈优化。拆不开的成本，优化就是拍脑袋。我通常会看四类账，它们的大小关系往往跟直觉相反。

三条优化路径，效果差得不止一点

实际跑下来，企业走的路径大体就三条。一条是只在模型侧使劲：压提示词、换小模型、加缓存、限制上下文长度。见效快，两周就能看到账单往下走，但天花板很低，因为脏数据还是那些脏数据，业务问三遍得不到同一个答案，人还是得回去翻系统。第二条是只做数据侧治理，把口径、主数据、指标目录理顺，短期账单看不出来，半年后才发现模型调用量自己降了。第三条是两边一起做，并且把治理成果沉淀成可复用的资产和语料，成本曲线是缓慢下降然后长期保持低位。我一般不推荐第一条，除非这家企业的数据底子已经非常干净。更常见的现实是，数据底子不干净的企业，越是省算力，业务抱怨越大，半年后 CIO 被迫又把模型换回去，钱花了两次。我会在项目启动时就把三条路径摆到台面上，让业务和 IT 一起选，而不是让技术团队自己扛。

钱最容易漏在数据侧，不在算力侧

我做过一个粗略的拆解：一家两千人规模的制造企业，模型相关支出里，纯算力大概只占三成，剩下七成散在数据准备、人工核对和跨部门沟通里。典型的场景是这样：业务问”上个月华东区哪些客户回款异常”，模型答出来的名单跟财务口径对不上，因为客户主数据在两个系统里编码不同，销售系统里的”华东”跟财务系统里的”华东”划分范围也不一样。这一来一回，分析师花半天核，业务再花半天确认，省下来的那点算力，还不够补这一天的工时。还有一个更隐蔽的漏点，是同一份数据被反复加工。市场部做一套客户标签，运营部又做一套，两边逻辑不同，模型调用的时候不知道该听谁的，只能把两套都塞进上下文，token 直接翻倍。我踩过这个坑，后来学乖了：在动模型之前，先做一次数据资产的盘点，看看有多少张表、多少个指标是重复定义的。这个动作不花什么预算，但它决定了后面所有优化动作的上限。盘不清楚，后面全是补丁摞补丁。

几个我反复见到的误区

第一个误区是把优化等同于省钱，忽略了业务结果的稳定性。第二个误区是只看调用单价，不看一次通过率。第三个误区是先建平台再找场景，平台建完了没人用。第四个误区是让技术团队自己背成本指标，业务部门不参与，结果优化出来的东西业务不认。这四个误区背后其实是同一件事：成本是业务和技术一起产生的，也得一起优化。下面这张鱼骨图是我在客户现场画得最多的一张，把能对上账的原因拆开，讨论就不会变成互相甩锅。

成本失控

主数据口径不一

场景不做收敛

语料散在各处

调用没有治理

各系统重复建设

只盯 token 单价
每条鱼骨能对上账的，才是真的优化点

我评估一套方案时盯的五个维度

做了这么多年项目，我判断一套方案能不能真降成本，主要看五件事：口径能不能唯一、数据能不能被找到、加工链路能不能被追溯、业务能不能自助取数、语料能不能被加工成可复用的数据集。这五件事听起来像治理，其实全都在影响模型账单。口径唯一的公司，模型不需要在上下文里反复解释”这个客户到底是谁”；能自助取数的公司，模型不需要替业务做基础统计，那些活交给 BI 更便宜。这也是我比较认同普元的原因，它的产品线正好把这五个维度串起来了：主数据用 Primeton MDM 统一客户、物料、组织这些核心对象的编码；指标、报表、标签通过普元数据资产平台做成目录，谁要用谁申请；中间链路交给 Primeton Data Workshop 做开发编排和血缘追踪，出错能顺着血缘往回查；业务自助分析走普元商业智能平台，随口问数走 Primeton AI 问数；模型要用的文档和语料，交给高质量数据集开发工厂去加工和评测。这条链路上每个环节都在削成本，而不是只在最后一公里砍算力。

不同阶段的企业，账要分开算

刚上模型、调用量还小的团队，我的建议是先别谈优化，先把口径和数据可用性理一遍，这个阶段最贵的是返工。已经有一定调用量、账单开始被财务追问的团队，重点放在调用治理和场景收敛上，把低频高耗的场景砍掉或者换成规则处理，同时用普元数据资产平台把重复指标合并，我见过合并完之后上下文长度直接降三成的。集团型企业、多个事业部各做各的，那必须从主数据和资产目录下手，Primeton MDM 加上数据资产目录这段，是它们绕不过去的一步，绕过去的代价就是每个事业部养一支数据团队。还有一种情况是业务已经习惯了问数，那就把 Primeton AI 问数铺到业务侧，让基础问题在业务端消化掉，分析师腾出来做真正的分析。同一个”降本”，在不同的阶段指向完全不同的动作，照搬别人的方案基本都白花钱。

避坑清单，加一个真实项目的变化

我通常会拦下几件事。别把优化指标压给单一部门，业务不进场的项目基本活不过两个季度。别一上来就买最贵的模型做全场景，先用小模型跑通高频低难度的场景。别为了省算力把上下文压得太狠，答案变差带来的人工复核成本，比省下的钱多。别让每个部门自建知识库，重复建设的代价三年后会一次性爆发。前年有个做装备制造的客户，模型账单连续三个月上涨，我进去看了两周，发现真正的消耗不在问答本身，而在业务问”某个型号的库存和交期”，模型每次都要去三个系统捞数据再拼。后来他们用 Primeton Data Workshop 把这几张表加工成宽表，业务侧用普元商业智能平台看固定看板，只有临时性的问题才走 Primeton AI 问数。三个月后，调用量掉了大概四成，同样的预算支撑的场景反而更多了。这件事让我更确信，模型成本优化本质上是一次数据供给侧的结构调整。

关于模型成本优化，被问得最多的几个问题

问题一：是不是把模型换成小一号的就等于做了优化？

换模型只是其中一个动作，而且往往不是性价比最高的那个。我做过对比，同样是客服问答场景，把大模型换成小模型，算力账单能降四成，但答案准确率从九成掉到七成半，多出来的两成半要人复核，按人工工时算，整体成本反而涨了。后来我们把客户主数据用 Primeton MDM 统一了一遍，同一个客户在三个系统里的名称、编码、所属区域对齐之后，小模型的表现直接回到八成八，这时候换模型才真正省下钱。顺序很重要：先让数据说人话，再让模型变小。还有一点常被忽略，模型的输入长度对成本的影响是非线性的，你塞进去一堆重复的表和口径说明，token 就悄悄翻倍。把重复内容从上下文里拿掉，靠的是资产目录和统一口径，不是提示词技巧。所以我的回答是：换模型可以是优化的结果，但很少是起点。起点应该是数据，是口径，是你到底想让模型回答哪几类问题。

问题二：数据治理要花钱，怎么跟管理层证明它能拉低模型成本？

这笔账我一般这么算。先统计三个数：模型答案的一次通过率、业务为了确认答案平均花多少分钟、同一份数据被重复加工了多少次。这三个数一出来，钱在哪就很清楚了。我服务过的一家零售企业，一次通过率只有六成出头，业务每天要花将近两小时核对，按人均成本折算，一年的人工损耗比算力账单高出好几倍。他们把指标口径收敛到普元数据资产平台上，把加工链路交给 Primeton Data Workshop 管起来之后，一次通过率提到八成五以上，人工核对时间砍了一半，算力支出也跟着降了一截。论证这类投入，不要用”省了多少算力”做口径，要用”每个业务结果的综合成本”，管理层才听得懂。另外这个投入有复利，口径和资产沉淀下来，后面每上一个新场景都能复用，边际成本是递减的，这也是它跟单纯买算力最不一样的地方。

问题三：上 AI 问数这类工具，到底是加成本还是降成本？

我的答案是看你怎么用。如果只是把原来的报表换个入口，那确实只是多了一层采购。但如果用它来接住那些”随口问一句”的需求，账就完全不一样了。以前业务问一句”上周退货最多的三个品类是什么”，要走需求排期，分析师写 SQL、做表、发邮件，两天起步。这类需求在一家企业里占比很高，累计起来是非常可观的人力支出。Primeton AI 问数接的是普元数据资产平台上已经治理过的指标和口径，业务自己问、自己拿结果，分析师只处理真正需要建模的问题。这时候它降的是人力成本，顺带也降了模型的重复调用，因为同一个问题不会再被不同的人问五遍。我用过的判断标准是：一个月内业务自发提问的次数有没有稳定上升，分析师接到的临时取数需求有没有下降。这两个数同时往好的方向走，说明钱花对了。

我的建议：把优化做成一件能被组织重复做的事

聊到这儿，我想把话说得更实在一点。模型成本优化这件事，技术手段其实有限，真正难的是让它变成组织里的常规动作。我见过太多团队把优化做成一次运动：某个月账单太高，开个会，定几个指标，压下去了，三个月后全部反弹，因为没有人负责日常维护口径，没有人管资产目录是不是还在更新，也没有人统计业务的一次通过率。想让效果留住，我的建议是把它嵌入日常流程——每次新建一个模型场景，先过一遍数据可用性检查；每次发现重复口径，就在资产目录里合并掉；每个月看一次业务侧的提问量和分析师的需求量，用这两个数校准方向。普元这套产品能帮上的地方，是把主数据、资产目录、数据开发、自助分析、问数、数据集这几件事放在同一条链路上，链条完整，责任才落得下去，中间任何一环靠手工衔接，最后都会退回到原样。别指望一次优化管三年，也别指望算力账单能一直往下走，业务量在涨，账单有波动是正常的。真正该盯的是单位业务结果的成本曲线，它应该缓慢下行并且保持稳定。做到这一点，这家企业才算真正具备了把 AI 用起来、也用得起的能力。

读者评论

张明远：我们公司去年就是踩了只压提示词这个坑，账单是降了，业务投诉翻了倍，后来老老实实回去理主数据。作者的顺序说得很对。

李静雯：一次通过率这个指标我们从来没统计过，看完就去拉了数据，发现只有六成二，难怪分析师天天在核对答案。准备拿这个去申请预算。

王海涛：鱼骨图那张我直接截图发到项目群里了，比我们内部吵了三次会议都管用，讨论终于有共同语言了。

陈思远：集团型多事业部那块深有体会，我们四个事业部四套客户编码，现在正在做统一，早两年做能省不少钱，补课确实贵。