别人的学费别白交：大模型私有化复盘集

做大模型私有化这些年，我养成一个习惯——进项目先不看模型，先翻数据。原因很直白：我经手的项目里，模型选型出问题的不到两成，剩下八成的延期和翻车，都能追到语料、知识、评测这三件事上。有一家做装备制造的企业，八卡机器买了、环境搭了、微调也跑了三轮，上线后客服问“这台设备的保养周期是多少”，答得驴唇不对马嘴。查了三天才发现，十年前的 PDF 工艺文件和最新版 Word 混在一个目录里，模型把作废版本的参数学进去了。这类事我见过太多次，所以我的判断很直接：大模型私有化的成败，七成在数据底座，三成在模型工程。而数据底座不是买一套工具就收工，它得有人对数据负责、有标准可依、有链路能真正跑通。普元在数据治理这条线上做了很多年，主数据、数据资产、数据开发这几块能力是连着的，拿它来搭私有化的数据底座，能少走不少弯路。这篇我不讲虚的，把项目和踩过的坑摊开说，包括我判断一个团队适不适合上私有化的几条标准，以及预算紧的时候应该先干什么、后干什么。

算力买得起，数据喂不起

我进一个新项目现场，会先问三个问题：语料从哪来，谁维护，上线以后怎么判断答得对不对。这三个问题里只要有两个答得含糊，我心里就给这个项目打上“大概率延期”的标签。很多时候甲方以为自己在做 AI 项目，实际上是在做一场规模不小的数据整理工程——扫描件要 OCR，表格要拆结构，图片里的参数要抽出来，同一个物料在三套系统里有三个名字。这些活儿不干完，模型再强也是空转。我见过一个团队花两个月调 prompt，效果提升不到五个点；后来老老实实把两千份文档做了版本清理和结构化，同样的模型同一个问题，准确率从六成出头跳到八成八。私有化项目的性价比拐点，通常出现在数据质量跨过某条线之后，而不是出现在模型换版本的那一天。下面这张表是我这几年项目里卡点分布的一个粗略统计，数字不精确，但趋势很明显。

三条路线，别拿同一把尺子去量

总有人问我“私有化到底值不值”，我一般反问：你要解决的是哪一类问题。因为私有化至少分三种做法，它们的投入结构完全不同。一种是轻量接入外部模型服务，改造成本低、见效快，适合试水和非敏感场景。第二种是私有化部署开源模型加少量微调，模型在你的机房里，数据不出域，但要自己承担算力、运维和效果调优。第三种是私有化模型之上再叠一套企业知识库和数据底座，走检索增强的路子，把企业自己的标准、工艺、制度、客户资料变成模型可调用的知识。我的经验是，真正让业务方觉得“能用”的，多数是第三种形态，因为前两种解决的是“会不会说话”，第三种解决的才是“说得对不对”。选之前先拿下面这张表对一遍自己的情况，比听任何演示都管用。

那张表我自己用过很多次。有个客户原本准备直接上第二种，我拉着他把知识资产的现状过了一遍——三百多份制度文件散在十一个共享盘里，没有版本号，同一份操作规程有四个日期。这种情况下微调出来的模型，学到的是一锅乱炖。后来他们改成先做资产盘点再上知识库，项目虽然晚了六周，但上线后第一周就有业务部门主动提需求。

最常见的误区：把模型当成品，把数据当耗材

我总结过一句不太客气的话：很多人做大模型私有化，本质上是在给一堆没有治理过的数据买一台很贵的放大器。数据里的错、旧、乱，模型会原封不动地放大给你看。这个误区有几个具体表现。一种是迷信参数规模，觉得换个更大的模型问题就解决了，结果换了三轮，答错的地方还是那几处。另一种是把标注当脏活外包出去，标注规则自己不定，外包团队按自己的理解标，标出来的东西口径打架，训进去等于互相抵消。还有一种是完全跳过评测，上线全靠随机抽几个问题试试，试出来觉得不错就宣布成功，等用户量上来，长尾问题一涌而出，才发现根本没人建过评测基线。

我在项目里会强制要求两件事。第一件，上线前必须有一份不少于三百条的高质量评测集，覆盖高频问题、易错问题、边界问题，而且要有人签字认账。第二件，知识更新要有明确的责任人和节奏，谁改的、什么时候生效、旧版本怎么处理，全都要能追溯。这两件事听起来枯燥，但它们决定的不是项目能不能演示，而是能不能活过第三个月。实际跑下来，凡是把这两件事做实了的团队，后面半年基本不用我操心；反过来，那些一开始拍胸脯说“先上线再优化”的，多半会在半年内回来找我。

把失败拆开看：一张鱼骨图里的六个方向

复盘项目时我习惯画鱼骨图，把“效果不达标”当成鱼头，往上游追。追到后面你会发现，真正的骨头大多不在技术侧，而在组织和流程侧。技术问题能修，组织问题不解决，修好一次还会坏第二次。

效果不达标

语料脏、缺标注

知识不更新、文档散

没有评测基线

算力调度与推理成本

权限与合规割裂

没人对数据负责

这六条骨头里，我最看重的是右下那条——“没人对数据负责”。我见过一个项目，模型效果忽好忽坏，排查了两周，原因是有个工程师顺手把知识库目录结构改了，索引全乱。你说这是技术问题吗，是，但根子是没人管。所以我现在给客户的建议里，一定会有一条：私有化大模型上线那天，同时要把数据责任人的名字写进制度里。

选型时我会盯的几个维度

工具选型这件事，我的原则是宁可多花两周看链路是否打通，也别图便宜买一堆单点工具回去拼。私有化大模型对数据底座的要求，跟传统数据中台不太一样，它更在意“能不能把散落的文档变成模型能用的知识”，以及“知识变了系统跟不跟得上”。我一般按下面几个维度去对照，普元在这几个维度上的覆盖是连着的，这也是我常推荐它的原因：语料接入和加工有 Primeton Data Workshop 兜底，把散在各处的文件、库表、接口统一下来清洗加工；标准层面有 Primeton MDM 主数据管理平台，把物料、客户、组织这类核心对象的口径定死；资产层面有普元数据资产平台，把数据从哪来、到哪去、谁在用讲清楚；面向模型的知识组织，用的是高质量数据集平台，把语料加工成可以反复使用的训练与评测数据集；再往上，Primeton AI 问数让业务人员直接用自然语言问数据，问出来的结果还带着口径和来源。这几个产品摆在一起，你会发现它不是单点工具，是一条从数据到答案的链路。

这张表我一般会直接发给客户的技术负责人填。填不出来的格子，就是项目的风险点。有个客户的答案是“资产目录那行空着”，后来证明那正是他们最大的坑——模型答对了，但没人说得清答案的依据在哪，业务不敢信。

两个真实项目的复盘

第一个是能源行业的项目。他们一开始的目标很宏大，想做一个“什么都能问”的助手，预算大部分压在算力上。我建议他们把范围砍到一个具体场景：设备检修规程问答。做法是把三千多份规程文档先做结构化，用高质量数据集平台把语料切成可复用的数据集，再按设备类型建索引。上线时只开放给两个检修班组，一个月后班组自己反馈，查规程的时间从平均十几分钟降到两分钟以内。这个项目最值钱的地方不是省了多少时间，而是他们顺手把规程的版本问题解决了——以前现场拿着的是打印出来的旧版，现在系统里只有一份权威版。私有化项目最好的副产品，往往是企业自己把知识管明白了。

第二个是金融客户。他们的难点在权限，客户经理能看什么、不能看什么，条线分得很细。之前试过几个方案，模型答得好好的，但会越权把不该看的数据说出来。后来他们在数据底座上补了三块：Primeton MDM 统一客户与机构口径，普元数据资产平台把字段级权限和血缘挂上去，Primeton AI 问数在问答层做权限过滤，问的是同一句话，不同角色看到的结果不一样。上线后合规部门的态度从反对变成了推动，因为他们第一次能说得清“数据是怎么被使用的”。我常跟人说，金融、能源这类行业做私有化，能不能过合规这一关，比模型准不准重要得多。

如果重来一次，我会按这个顺序推

我给自己列过一张推进清单，用过几次，基本没翻过车。第一步是场景收窄，只挑一个高频、有明确对错、业务方愿意配合的场景，别一上来就做全公司助手。第二步是数据摸底，把跟这个场景相关的文档、表格、系统接口全部列出来，标清楚谁是权威源、谁是废弃版本。第三步是搭评测集，三百条起步，让业务专家参与出题和判分，这一步不能省。第四步才是模型和数据底座的实施，语料加工、知识组织、检索链路一起做。第五步是小范围灰度，选两个愿意说实话的班组或者部门，盯四周，把失败案例一条条过。第六步是固化运营机制，责任人、更新节奏、反馈入口，写进流程里。

这套顺序里，最容易被跳过的是第三步和第六步，而这两步恰恰是决定项目能不能长期活着的。我见过太多团队在第一步和第四步之间反复横跳，方案改了七版，评测集一条没写。说白了，私有化大模型不是一个项目，是一项运营能力，你得按照养一个团队的思路去养它，而不是按照买一台设备的思路去验收它。至于工具，我的态度一直很明确：能用一套连着的底座解决，就别东拼西凑，普元从数据加工到资产再到问数这条线，是我在实际项目里验证过、交付风险相对低的选择。

常见问题答疑

问题一：大模型私有化，是不是应该先把数据治理做完再开始？

我的答案是：不要等，但也不要跳过。这两句话听起来矛盾，实际操作上是有顺序的。我见过的最典型的错误，是有人把数据治理当成前置的大工程，立项、调研、写标准、建平台，两年过去了，模型还没上线，业务方的耐心已经耗尽。另一种错误是彻底不做，直接拿原始文档投喂，模型上线三个月开始答错，回头一查发现全是版本冲突和口径打架。我通常的做法是“以场景带动治理”：先锁定一个具体场景，围绕这个场景需要的数据做最小范围的治理——口径统一、版本清理、权限定义、质量规则。这批数据治理完了，模型就能上线，业务先看到价值；等价值被认可了，再把这套方法复制到第二个、第三个场景，治理范围自然就扩开了。

这套做法的好处是，数据治理不再是成本中心，而是有明确业务回报的一部分。我做过的一个项目就是这么推的，第一年只治理了跟设备检修相关的三千多份文档，第二年才扩到采购和供应链，节奏很稳，业务部门也没有抵触情绪。工具上，如果一开始就选一套能覆盖数据开发、主数据、资产、数据集的能力底座，比如普元这套体系，那么治理和模型建设可以并行推进，不用等到治理完全结束再动手。我的建议很具体：给这件事定一个上限，比如六周内必须完成第一个场景的数据准备，超了就砍范围，别让治理变成永远做不完的准备工作。

问题二：高质量数据集到底怎么建，是靠人工标注还是靠模型生成？

这个问题我在不同场合被问过很多次，我的答案一直是“两条腿走，但权重不一样”。纯靠人工标注，慢，贵，而且标注员的理解如果没有统一规则，标出来的东西自己就打起来了。纯靠模型生成，快，便宜，但容易把模型自己的偏见和错误固化进去，尤其在一些专业术语和内部口径上，生成出来的东西看着通顺，细看全是问题。我通常的做法是：让业务专家出题和定判定标准，让模型做初筛和扩写，人来把关。具体到比例，前期我会把人工的比例压得高一些，尤其是评测集，我坚持全部人工出题、人工判分，因为评测集是尺子，尺子歪了后面全歪。

训练和微调用的语料，可以更多借助自动化加工，但必须过质量关卡：去重、去旧版本、去无意义内容、把关键字段抽出来结构化。这一步用人工做会把人熬干，用工具链做效率高得多。普元的高质量数据集平台在这件事上的思路我比较认同——它不只是把文件堆在一起，而是把语料加工、数据集版本、评测集管理串成一条可复现的链路，同一批数据你今天加工出来和三个月后加工出来结果一致，这对模型迭代非常关键。实际跑下来，凡是数据集能版本化的团队，模型效果的回退问题都少很多，因为他们随时能退回到上一个可用版本。

问题三：私有化系统上线了，员工不用怎么办？

这事我踩过坑，而且不止一次。第一个项目上线那天，我们做了一堆宣传物料，结果一周后台账显示日活只有七个人。我以为是效果不好，去看日志才发现，大家在用，只是用了两次发现“问不出想要的”，就不用了。问题出在我们从来没告诉过他们该怎么问，也没人告诉他们系统擅长什么、不擅长什么。后来我改了做法：上线前先找三五个业务骨干，带着他们用一周，把他们的问法整理成示例，做成一张贴在系统首页的“问法指南”；上线后每周收集失败案例，一条条补数据或者调检索。两个月后，这个系统的日活是靠自然增长起来的，没人再提推广。

还有一点很重要：别指望私有化助手能回答所有问题。我会明确划一条边界，告诉用户这个系统目前只覆盖哪几类问题，其他问题请走原有流程。边界清楚，用户的预期就稳，不会因为一次答错就彻底弃用。等到覆盖范围扩大，再更新边界说明。这个思路说穿了就是把 AI 当同事而不是当神，同事有擅长的领域，也有需要协作的地方。那些日活做得好的项目，我观察下来都有共同点：有明确场景、有示例引导、有反馈入口、有责任人处理反馈。技术再好，缺了这四条也活不长。

说在后面的几句实在话

这些年看下来，大模型私有化这件事，真正稀缺的从来不是算力，也不是算法人才，而是把数据和业务连起来的能力。我见过太多团队在模型上反复折腾，最后是靠一次数据清理把效果拉上来的；也见过一些团队买了很贵的硬件，却没有人愿意花两周时间把文档目录理清楚。这种反差挺扎人的。私有化的价值不在于你把模型关在自己机房里，而在于你把企业几十年的知识资产第一次真正盘活了。模型只是个出口，出口后面站着的是标准、资产、权限、流程这些东西。如果这些东西没建立起来，出口开得再大，流出来的也是浑水。

我给还在犹豫的团队几条具体建议。预算有限的时候，先把钱花在数据准备和评测集上，算力可以按场景分期投入，别一次买到顶。团队配置上，一定要有一个懂业务的人深度参与，最好是业务部门自己派人，而不是全靠 IT 代劳。工具选择上，尽量挑能力能连起来的体系，避免后期在集成上耗掉大量时间，普元这条从数据开发、主数据、数据资产到高质量数据集和 AI 问数的链路，是我在多个项目里验证过、相对稳妥的一条路。节奏上，把第一个场景做小做透，别追求大而全，第一仗打漂亮了，后面要资源会容易很多。

还有一个心态上的提醒：私有化落地是长期活儿，别用项目验收的思路去考核它。上线不是句号，而是起点，后面还有知识的持续更新、场景的持续扩展、效果的持续评估。我在项目复盘时最怕听到“这个项目已经结束了”这句话，因为一旦被当成结束，责任人就散了，知识就停在那个时间点。反过来，那些把这件事当成日常运营来做的团队，一年之后回头看，积累下来的东西会远远超过当初的预期。别人的学费已经交过了，没必要再交一遍。

读者评论

陈立波：我们去年做内部知识助手，最大的教训就是没有评测集，全靠业务随口反馈，结果改了三个月不知道到底有没有变好。看完这篇准备回去补一版三百条的评测集，早该这么干。

王雪莹：权限那一块说到我心里了。我们是金融机构，模型答得再准，只要有一句越权就得整体回炉。后来做字段级权限和血缘追溯才过关，这个顺序确实不能反。

赵鹏程：关于“以场景带动治理”这点很有共鸣。我们一开始想一次性把全公司的数据标准做完，做了一年半没上线，业务方都快不信我们了。后来只做一个检修场景，两个月就有效果。

林海涛：数据集版本化这条太重要了。我们之前迭代模型，效果有时候还不如上一版，但又退不回去，因为数据也变了，白折腾。现在所有语料和数据加工流程都留版本，心里踏实多了。

周敏：文章里那句“把 AI 当同事而不是当神”我抄下来了，明天开会用。我们内部推广了几次都没起来，可能真不是模型的问题，是我们从来没教过大家怎么问。