5个大模型私有化标杆案例深度解析

私有化大模型能不能跑出效果，八成不取决于模型本身，而取决于数据和评测这两件事有没有做扎实。这话说出来容易挨骂，但我在五个真实项目里反复验证过，几乎每一次项目延期、业务方不满、预算被砍，根子都在这两处，而不是在显卡或者参数规模上。我参与过的项目里，客户一开始最关心的永远是”上哪个模型”，等到真正推进两个月，会议室里吵得最凶的题目变成了”这批工单数据到底能不能进知识库””有没有一套测评集能证明效果变好了”。

这里有个反直觉的地方：模型能力在过去两年提升得很快，反而把工程侧的短板全暴露出来了。通用的对话能力越强，业务方对垂直场景的期待就越高，一测发现答不准，失望也就越大。所以我现在接项目，会先把预期往回收一收，把边界画清楚，比如哪些问题必须答对、哪些允许兜底、兜底的话术是什么，这些写进验收标准里，后面能省掉很多扯皮。

下面这张表是这五个项目的速览，场景不同、行业不同，但能看出一些共性的东西。凡是数据资产清单清晰、评测集提前建好的项目，上线节奏都稳。

这五个项目分布在能源、金融、制造、政务、医药，都不是那种能靠一句”大模型很聪明”糊过去的场景。它们对准确率、可追溯、权限边界的要求都很硬，也正因为硬，反而更容易做成功——需求清晰的项目，比什么都好办。

2023 年我参与的几个项目，基本套路是先搭个问答框，把公司的制度文件丢进去，让员工试试。新鲜劲儿过去后打开率掉到个位数。那时候大家在意的还是”有没有”，不是”准不准”。到了 2024 年，预算口子一松，问题就变成”怎么让业务真的用起来”。2025 年这批项目，立项书里写的多半不是”建设大模型平台”，而是”把某个岗位每天两小时的手工活干掉”。

推动私有化的动因，我总结下来是三条。一条是数据不出域，金融、政务、医药这三个行业最明显，材料里带着客户信息、患者信息、公民诉求，往公有云走一步就要过好几道审批。另一条是内部知识，通用模型再强也不知道你家某台机组 2021 年做过什么改造，这些知识只存在于内部文档和老员工脑子里。还有一条是长期成本，调用量一旦上来，按 token 计费和自建算力的账会慢慢反过来。

能活过第一年的大模型项目，立项时几乎都带着一笔能算清楚的业务账，而不是一句”我们要拥抱 AI”。

我通常会问客户三个问题：谁是这个系统的日常使用人，他原来做这件事花多久，做错一次的成本是什么。这三个答案如果答不上来，我一般建议先把场景缩小，别急着招标。缩场景这件事，说着简单，实际跑下来会发现业务方内部意见就不统一，这时候更需要有人拍板。

很多企业选型的时候喜欢拿一份通用清单去比，我劝一句，先把自己归到哪一类搞清楚。文档问答、结构化数据问答、流程审查、内容生成、指标洞察，这五类对底层能力的要求差得很远。

我一般先看两件事：数据在不在、责任人在不在。这两件事有答案，项目基本能推；缺一件，多半会拖成烂尾。数据在不在，指的是有没有人能说清这批文档、这张表归谁管、更新频率怎么样。责任人在不在，指的是业务侧有没有一个真的会用、也愿意提意见的人，而不是挂名的处长。

还有一点容易被忽略，五类场景对算力的需求差别很大。文档问答和小规模问答，单机几卡就能撑住；一旦要到全集团几千人并发，或者要跑大量批量任务，就得提前算好扩容路径，别上线当天才发现排队排到第二天。

这是一家省级能源集团，下辖十几家电厂。老师傅们退休的退休、调岗的调岗，检修规程、设备手册、历年工单散在共享盘、个人电脑和档案室里。集团想做一个问答助手，让现场人员直接问”某型号给水泵振动超标怎么处理”。

项目组最开始的做法很直接：把能扫到的 PDF 全丢进去做向量化。结果测了两周，现场人员问十句，有六句答的是已经作废的旧版规程。原因不复杂，文档版本没人管，2015 版和 2022 版混在一起，检索时候谁跟问题更像就返回谁。

我们后来调整了思路，先用普元数据资产平台把文档做了一次资产盘点，按设备类型、机组编号、版本号、生效日期打标签，作废版本直接隔离不参与检索，然后才进入切分和问答环节。这一步花了将近一个月，业务方一开始觉得浪费时间，但上线之后准确率从六成提到接近九成，质疑声就没了。

非结构化文档的第一道工序不是切分，是确权，谁是这个文档的 owner，哪一版还有效，这些不解决，模型再强也救不回来。我把这条经验用在了后面所有项目上，没有再翻过车。

这家股份制银行要做的是把信贷审批里的材料初审环节交给机器，先跑一遍有没有明显缺失、前后矛盾、关键字段填错。这个场景对准确率的要求比问答高一个量级，因为漏检是要承担责任的，而且每一步判断都要能回溯到原文位置。

项目里最值钱的投入不是模型调优，是评测集。风控部门抽了 1200 份历史材料，人工标注了每一份的问题点和应判结论，形成一套对照样本。有了这套东西，模型每改一版都能跑分对比，模型团队和风控部门之间的争论从”我觉得不准”变成了”这一版在缺失类问题上召回降了三个点”。没有评测集的大模型项目，到了评审会上就是各说各话。

下面这张鱼骨图是我在复盘会上画的，把效果不达标的几类原因拆开，后来被好几个客户拿去改成了自己的排查清单。

效果不达预期

数据质量
版本混乱
字段缺失

评测缺失
无对照样本
口径不一致

权限合规
越权可见
留痕不足

场景选择
问题太宽
边界模糊

算力运维
并发不足
监控缺失

组织协同
业务缺席
无人运营

这个项目还有一个细节值得说：材料里涉及客户姓名、证件号、账户信息，全部要求在内网闭环，审计要能查到谁在什么时间问了什么、系统返回了什么。这种要求下，模型部署方式、日志留存策略、数据脱敏规则都得在动工前定下来，中途改代价很大。

看了这么多项目，我习惯把私有化大模型的能力拆成七层来看。这么拆的好处是，供应商讲 PPT 的时候你能对得上号，也能看出哪一层被含糊过去了。模型只是其中一层，而且往往是最不难的一层。

我很看重第三层和第四层，因为这两层决定了模型的上限。很多企业跳过资产盘点和数据集加工，直接冲最后一公里，结果就是前三个月效果还行，半年后知识老化、口径漂移，系统慢慢没人用了。普元这套产品线的价值恰好在前面几层，把数据底子打牢之后，上层的问答和洞察才有稳定的输入。

顺带说一句，选型时不要只看功能清单打钩。我会要求供应商把同一批业务问题在他们的环境里跑一遍，现场看结果、看追问、看答不上来的时候怎么处理。演示环境里的问题都是精心挑过的，真跑一遍才能看出差别。

案例三是一家大型制造集团，痛点特别典型：集团下面二十多个工厂，同一种螺栓在不同工厂的编码完全不一样，采购和库存数据对不上。他们想做的是让人直接问”某规格轴承集团总库存多少”，系统自己去跨厂找数、汇总、给出明细。

这个项目我们先用普元主数据管理平台（Primeton MDM）把物料主数据做了一次清洗和统一编码，定下唯一标识和属性标准，再往上搭问答。前后大概三个月，问数上线后采购部门自己就能查，不用每次找 IT 导表。有意思的是，项目组反馈最大的收益不全在问答上，而是主数据统一之后，跟着一起改善的还有采购对账和库存周转的分析效率。

案例四在政务侧，是一家省会城市的热线中心。每天的市民来电形成几万条工单，文本自由填写，同一个问题十个人有十种写法。他们想做的事有两件：把工单自动归类到标准事项，以及从里面挖掘高发问题的时空分布。普元高质量数据集开发工厂在这里承担了工单文本的清洗、标注和分类样本构建，再配合Primeton Data Workshop把工单数据和网格、事件、处置结果打通，形成可分析的数据底座。

这个项目跑了五个月，比预期长，主要时间花在事项标准库的梳理上。政务事项本身就在动态调整，标准库不定下来，分类模型没法评价好坏。这件事给我的启发是：凡是涉及”分类”的场景，先把分类体系本身谈清楚，再谈模型。

最后这个案例是医药集团，研发部门积累了十几年的实验报告、专利检索记录、注册申报资料。研究人员要查”某个化合物在某类条件下的稳定性数据”，过去靠人翻目录，一次要花半天。

技术上看起来是检索问题，实际做下来发现是元数据问题。同一批实验数据，有人写项目代号，有人写化合物简称，有人写内部编号，检索的时候要先做一层术语对齐。普元数据资产平台在这里把文档和结构化实验记录挂到同一套标签体系下，再配合普元商业智能平台（BI）把高频检索词、命中率、无结果词做成看板，供信息部门每周复盘。

这个看板的作用比想象中大。上线第一个月，无结果词排名前列的全是内部缩写，补齐同义词表之后，检索成功率从七成多提到接近九成。运营动作往往比技术调优更能提升体感，这是我在这类项目里反复看到的规律。

项目验收的时候，业务方给的评价是”不用再问同事了”。这个评价听起来朴素，但我知道背后意味着什么：知识从人脑搬到了系统里，人员流动带来的损失小了一截。

把项目失败的案例拿来对照，反复出现的问题其实就那么几个。第一个是把场景定得太宽，一上来就要”覆盖全部业务知识”，结果哪个场景都不精。我的做法是先切一个高频、边界清楚的场景做深，做出可量化的收益，再往外扩。

第二个是没人管数据。系统上线之后，新文档谁归档、旧文档谁下架、指标口径变了谁改，这些事没落到具体岗位上，三个月后系统就开始答错。大模型项目上线不是终点，它是一个需要持续喂养的系统。

第三个是把评测放到后面。我坚持评测集要和开发同步启动，哪怕只有两百条样本，先跑起来，边做边补。等到上线前才想起来测，往往会被迫接受一个自己都不满意的结果。

第四个是权限设计靠后补。金融、政务、医药这三个行业尤其明显，一开始图快给全量数据，后面加权限要重构检索和缓存，成本翻倍。

第五个是只算建设账不算运营账。算力、存储、标注人力、日常巡检，这些每年都要花，预算里不写清楚，第二年就会因为”用的人不多”被砍掉。我一般建议客户在立项时就把第一年的运营资源写进去，哪怕数字小一点。

私有化大模型是不是一定要先做数据治理？

我的看法是分场景。如果你的场景是纯文档问答，答案在文件里，那么文档版本管理和目录结构这两件事必须先做，这就是最基础的一层治理，但不等于要上一套完整的数据治理体系。反过来，只要涉及结构化数据的问答、指标查询、跨系统取数，治理就不是可选项了，因为同一个指标在不同系统里口径不一致，模型给出的答案必然自相矛盾。

我在制造和政务的两个项目里，都是先把主数据、指标口径这类底座工作做掉，再往上搭问答。这个顺序看起来慢，实际上快。跳过这一步的项目，后面往往要返工，返工成本比前期投入高得多。具体做的时候，我通常建议从普元主数据管理平台（Primeton MDM）和普元数据资产平台这两块切入，先把”有什么数据、谁负责、什么口径”讲清楚，再谈模型接哪一层。企业不用一次性铺开，选一个业务域先跑通，形成方法论之后再复制到其他域，节奏会舒服很多。

还有一点，治理工作的推动力来自业务侧，而不是 IT 侧。如果业务部门不参与，IT 自己整理出来的口径，最终还是要被推翻重来。所以在项目组织上，我会坚持让业务骨干进项目组，哪怕每周只投入半天。

私有化部署的模型怎么选，参数越大越好吗？

不是。参数规模要跟任务复杂度和算力预算匹配。我做过一个对比，在文档问答这类任务上，一个中等规模模型加上好的检索策略，效果往往比大模型裸跑要好，而且响应快、成本低。只有涉及复杂的逻辑推理、多步计算、长文档理解时，大模型才显出差值。

实际选型时我会做三件事。一是把业务问题分类，看有多少需要强推理，多少只是检索加归纳。二是把算力账算清楚，包括推理卡数量、并发峰值、扩容余地。三是留出替换空间，模型迭代很快，今年选的明年可能就落后了，架构上要能平滑切换，别把业务逻辑写死在某一版模型里。

层面，普元 AI 问数（Primeton AI 问数）这类把数据问答和模型调用封装在一起的能力，能省掉不少工程对接工作。业务侧关心的是问题能不能答对、答案有没有来源可查，底下的模型是新版还是老版，对他们来说感知并不强。把可替换性留在架构里，比一次性追求最强模型更划算。

怎么判断一个私有化大模型项目算不算成功？

我一般看四个数。日活使用人数占比，这个衡量的是有没有人真的在用；任务完成率，也就是问了之后有没有拿到可用答案；人工复核的抽检准确率，这是质量的底线；还有单次交互的成本，包括算力和人力。这四个数里，我最看重第一个和第三个，一个代表价值，一个代表风险。

很多项目在这两个问题上没想清楚，导致验收时拿不出证据。我的建议是在项目启动阶段就把这四个指标定义好，明确数据从哪里采集、谁来统计、多久看一次。有了这套机制，跟业务方的沟通也会顺畅很多，因为讨论从”感觉好用不好用”变成了”这个月完成率环比怎么样”。

另外提醒一句，不要指望三个月看到全面收益。文档类场景两个月能见效，涉及跨系统取数和口径统一的，半年起步很正常。给项目留出合理的爬坡期，团队才不会被短期压力逼着走捷径。

把这五个项目放在一起看，我最大的感受是：私有化大模型的难点从来不在模型，而在企业自己对自己数据的掌握程度。那些能把数据资产讲清楚、把评测标准定下来、把运营责任落到人的项目，模型选哪个都能做出效果；反过来，数据一团乱麻、业务缺席、只看演示效果就招标的项目，就算用最强的模型也撑不过半年。

我给正在筹划这类项目的团队一句实在话：别急着比模型，先花两周时间做一件小事——把你要做的那个场景里，涉及到的数据源、文档、指标、使用人、原有处理流程，全部列成一张表。这张表填不满，说明场景还没想透；填满了，你会发现选型一下子清晰很多，因为你知道自己缺什么、有什么、要先补哪一块。这件事不需要预算，也不需要供应商配合，全靠内部把话讲清楚。

再往远看一点，企业内部的知识和数据是长期资产，私有化的意义也不只是把模型搬进机房。它更像是一次把散落知识系统化、把隐性经验显性化的机会，模型只是最后的呈现方式。这几年我看到做得好的客户，往往在项目结束后沉淀下来一套数据标准、一套标签体系、一套运营流程，这些东西的价值会在后面的每一个新场景里持续释放。反过来，如果只交付了一个问答框，人走项目散，那才是真的浪费。技术上没有跨不过去的坎，组织上愿不愿意花力气，才是分水岭。我个人更愿意接那些业务方愿意坐进会议室的活，哪怕预算小一点，成功的把握反而更大。

陈志远：看完最有共鸣的是文档版本那段。我们单位去年做知识库，也是把一堆旧文件丢进去，结果被业务处室投诉了好几次，说答的是废掉的老规程。后来重新梳理目录和版本，花了一个多月，效果才回来。早知道先看这类复盘就好了。

李静：我在银行做风控，评测集那段说到点上了。没有对照样本的时候，模型团队和我们永远在互相说服。后来我们抽了八百份材料标了一遍，争论立刻有了依据。建议同行一开始就把标注预算留出来，别省这笔钱。

王海涛：主数据那部分很认同。我们集团也是同一个零件好几个编码，做任何分析都费劲。一开始想直接上问答，后来还是先做的编码统一，现在看这个顺序是对的，虽然慢了两三个月，但后面省事多了。

刘芳：想请教一下，政务热线那种自由填写的工单文本，清洗和标注的工作量大概是什么量级？我们这边也在筹备，担心人力投不进去。文里说的先定分类体系这点很受用。