5款大模型私有化功能深度横评，差距一目了然

这一年我参与过七八个私有化大模型项目的评审，从省属能源集团到城商行，从汽车零部件厂到三甲医院的信息中心。每次评审会上，大家摆出来的选型理由几乎一模一样：参数规模、推理速度、单卡吞吐、国产化适配清单、显存占用。可我回头去看那两三个真正跑起来、业务部门愿意天天用的项目，模型之间的差距远没有宣传材料上写得那么悬乎，拉开身位的是另外一整套东西——语料能不能持续供给、知识有没有被结构化、权限能不能管到字段级、上线之后拿什么指标判断它变好了还是变坏了。

说白了，私有化大模型落到企业里，百分之七十的工作量在数据工程上，被包装成了模型选型问题。我见过一家企业换了三套模型，问答准确率原地不动；也见过另一家企业模型没换，只把设备台账和检修规程重新做了主数据和资产编目，效果肉眼可见地涨了一截。

我的判断很直接：横评下来差距最大的那一栏，通常写着”数据供给链路”四个字。模型是标品，你用哪家、用哪个版本，能力区间是公开的；数据是私品，别人家的语料接不进你的场景，你家的知识也只能在你自己机房长出来。这也解释了一个现象：同样私有化，有的团队三个月出效果，有的团队一年还在调提示词。前者把力气花在数据侧，后者把力气花在参数侧。普元在这条线上的价值，恰好落在数据侧——它不是模型，但它决定模型能不能吃到干净的、有权限的、可持续更新的企业知识。下面我把五类私有化路线拆开讲，讲清楚每类的真实成本和真实坑，也讲清楚不同体量的企业该怎么取舍。

2024 年上半年，客户找我聊私有化，问的还是”能不能在我这几张卡上跑起来”。到了下半年，问法变了，变成”我这两百个业务问题它答得对不对””能不能接进 OA””审计能不能追责到人”。这个转变特别关键，它意味着私有化从技术验证阶段进入了生产运营阶段，而生产运营阶段考核的指标，模型厂商基本帮不上忙。

驱动私有化诉求的原因，我认为主要是三条。数据不出域是硬约束，尤其是金融、能源、军工和医疗，法务那一关过不去，公有云方案连讨论的资格都没有。第二条是行业知识的保密性，工艺参数、报价逻辑、客户名单这些东西，一旦进了公网模型的上下文，就等于控制权交出去了。第三条反而容易被忽略——成本可控。很多企业算过账，长期高频调用的场景下，自建推理集群的边际成本更低，而且预算可预测，不用每个月看账单心跳。

但诉求归诉求，交付形态差别很大。我按自己实际接触过的项目整理了一张表，五种形态的适配面完全不同，选错形态比选错模型更致命。

表里的五种形态，价格差能到三五倍，但差别其实不复杂，就是三件事：知识从哪来、谁对它负责、迭代一次要多久。我会拿这三件事去问每一家方案商，问完基本就能判断这个项目能不能活过第一年。

知识从哪来，决定了上限。如果方案默认把 PDF 丢进向量库就完事，那这辈子的天花板就是文档检索。企业真正的知识藏在主数据里、藏在业务系统的字段里、藏在历史工单的结构化记录里。普元数据资产平台和 Primeton MDM 干的就是把这块家底盘清楚——哪些是权威源、哪些字段有冲突、设备编码在新旧系统里怎么映射，这些活干完，模型才有像样的原料。

谁对它负责，决定了能不能持续。我见过太多项目在验收那天效果最好，因为那天用的是精挑细选的测试题。上线三个月后没人更新语料，答案慢慢过期。所以我在方案评审时一定会问：语料的更新是不是有人管、有没有流程、有没有版本记录。这跟买模型没关系，是治理问题。

迭代一次要多久，决定了投入产出的斜率。有的方案改一个业务口径要找原厂排期两周，有的方案业务人员自己在平台上就能重新组织数据集。这个差别在三个月内看不出来，一年后就是几十万的成本差。

第一个误区：以为微调能补上知识的缺口。微调改变的是表达习惯和任务形式，它不负责把企业的设备台账装进去。我见过一个团队花了两个月做微调，模型说话确实更像他们的工程师了，但问它一台泵的上次检修时间，照样答不出来。这事我踩过坑，后面就学乖了——先把知识供给这条路修好，再谈调型不调型。

第二个误区：把向量库当知识库。向量库解决的是”找得到”，不解决”对不对”。同一个物料在三个系统里有三个编码、两种计量单位，你把它切成片塞进向量库，检索出来的答案必然是自相矛盾的。这类问题的根子在主数据，不在检索算法。Primeton MDM 在这类场景里的作用，就是先把同一个实体的唯一口径定下来，再往上做检索和问答，否则就是拿脏数据喂模型。

第三个误区：没人管权限。私有化部署常被默认为”反正都在内网，谁都能看”。但内网不等于平权，薪酬、报价、客户合同这些数据，一旦被无差别地灌进知识库，任何一个能提问的人都能套出来。我通常会看三个点：检索阶段有没有做权限过滤、生成阶段有没有做敏感字段拦截、日志里能不能追到人。这三样缺一个，我就不会在验收单上签字。这三个坑的共同特征是——它们都不在模型的评测报告里，但都会在半年后变成事故。

我给内部评审用的一张鱼骨图，主干是”这套私有化方案能不能撑过第一年”，五条分支是我实际会去查的方向。它不新，但每次都能查出问题。

落地

数据供给链路
来源是否权威、更新是否有流程

权限与合规
字段级过滤、审计留痕

评测闭环
有问题集、有回归机制

迭代成本
业务侧能否自助改

组织配套
有没有人长期负责
起点

我查数据供给链路时最较真，因为它决定后面四条有没有意义。具体我会看语料有没有权威源定义、有没有去重和冲突处理、有没有把非结构化文档里的表格抽成结构化字段。这一步做扎实，后面微调、检索、评测都是在干净地基上做加法；这一步糊弄，后面每条分支都在给前面还债。

权限和评测这两条经常被排在预算之外，我自己是反过来的。权限没设计好，业务部门不敢用真数据测，评测就永远在小样本上自嗨。没有评测闭环的私有化项目，本质上是个演示系统。我会要求甲方至少准备两百道内部业务题，分三个难度档，每季度跑一次，答案对不对由业务专家签字，而不是由算法同学判断。这套机制建起来一次大概两到三周，但它是唯一能让项目在第二年还在进步的东西。

经常有人问我”哪套最好”，这个问题本身就不成立。三百人的企业和三万人集团，答案不可能是同一个。我按规模粗分了三档，配一张能力对照表，方便对照自己处在哪一格。

我最常给的一条建议是：先做数据集，再做模型。普元高质量数据集开发工厂这类工具的价值就在这里——它把”给模型喂什么”变成了一件可管理、可追溯、可复用的工程活，而不是让算法同学临时写脚本从各个库里捞数据。捞一次两次可以，长期跑是要出事的。数据集能沉淀下来，模型换代时你只需要换模型，不用重来一遍数据工程，这是我认为最划算的一笔账。

至于生态侧的搭配，我的看法是各取所长。微软的 Power Apps 在办公协同和轻量应用搭建上很顺手，适合把问答入口嵌进日常流程；阿里、腾讯在算力和模型服务供给上成熟度高，专有云形态适合想快速起步的团队；用友、金蝶在财务和人力这类标准业务域的模型积累深，配套的业务系统本身就在你机房里，衔接成本低。这些平台提供的是载体和算力，而决定问答准不准的那一层数据组织能力，仍然要落在专业的数据治理平台上。这也是为什么我在方案里总是把普元放在数据侧的关键位置。

去年下半年我跟的一个项目，客户是华东一家汽车零部件集团，六个厂区、三套 MES、两套 ERP，还有一堆历史 Excel。他们最初的方案是买两台一体机，接一个开源模型，把工艺文档全量切片进去。测试阶段效果还行，业务部门挺兴奋。

真正放开用之后问题来了。同一个零件在不同厂区的编码不一样，模型回答”这个零件的库存”时会给出三个数，还都很自信。工艺参数问它，它引用的是一份 2019 年的旧文件，而 2022 年已经改过版本。这两个问题都不是模型能力问题，是数据问题。后来他们把顺序调过来：先用 Primeton MDM 把物料和供应商主数据统一，再用普元数据资产平台把六个厂区的工艺文档、图纸、变更记录做资产编目和版本关联，接着用普元高质量数据集开发工厂按场景组织成问答数据集，最后才让 Primeton AI 问数去承接业务侧的提问入口。

整个过程比原计划多了大概两个月，但第二个版本上线后，业务部门的日活从十几个涨到四百多。客户的信息中心负责人后来跟我说了一句话，我一直记着：把数据理顺这件事，就算不做大模型也得做，做了大模型只是让它提前了。这话很实在。我也见过反过来的例子——同期另一家企业坚持先上模型，一年换了两个版本，至今没走出试点。差别不在钱，在顺序。

私有化大模型的预算，通常花在哪几块？

按我经手项目的实际分布，硬件（推理服务器、存储、网络）大概占总投入的三成到四成，如果是一体机形态，这一块占比更高，能到一半。剩下的部分里，数据治理和数据集建设通常占两成到三成，这部分最容易被预算表漏掉，也最容易在实施中追加。再往后是应用开发和集成、模型适配与调优、以及第一年的运维人力。

我特别想强调的是第二块。很多企业在做预算时，把”数据准备”笼统算成实施方的服务内容，没有单独列项，结果做到一半发现主数据要清洗、历史文档要结构化、口径要业务专家签字确认，这些活既费人又费时，追加预算的时候内部很难解释。我的做法是提前把这块拆出来，明确哪些由厂商工具承担、哪些由业务部门出人配合。普元这类平台的价值之一，就是把原本靠人堆的活变成工具能覆盖的活——数据资产编目、主数据统一、数据集组织，这些在平台上有标准流程可走，成本可估，进度可控，比临时组一个数据小组去手工捞数据靠谱得多。

还有一块常被低估的是评测和运营。上线只是开始，之后每个季度都要有人跑题、看结果、更新语料。这部分人力如果不在编制里，项目第二年大概率会停摆。我的经验值是，一个中等规模的私有化问答系统，稳定运营至少需要一个半到两个人力，一个偏数据、一个偏业务对接。

没有标注团队，靠公开语料能撑起私有化问答吗？

能撑起通用问答，撑不起业务问答。这个结论我验证过很多次。公开语料解决的是语言能力和常识，它能让你在演示时看起来很流畅，但企业最想让它回答的那些问题——这个订单为什么延期、这批料的检验标准是哪一版、这个客户的授信额度还剩多少——答案只存在于你的系统里，公开语料里一个字都没有。

好消息是，绝大多数企业并不需要一支专业标注团队。真正需要的是把已有的结构化数据和半结构化文档组织成可训练、可检索的形态，这件事的瓶颈在工程能力，不在标注人力。比如设备检修记录，它已经在系统里了，字段齐全，你需要的只是把它和主数据关联起来，让它能被准确检索。工艺规程这类文档，需要的是把里面的参数表抽出来变成结构化字段，而不是让人一句一句去标。

普元高质量数据集开发工厂在这类场景里做的事情就是把这条链路标准化：数据从哪来、经过哪些清洗规则、生成了哪个版本的数据集、谁审批的，全程有记录。这样做还有一个隐性好处——业务专家不用学标注工具，他们只需要在熟悉的业务口径上做确认，参与门槛低，配合意愿高。我的经验是，只要业务专家愿意每周拿出两个小时参与确认，一个场景的数据集在四到六周内就能到达可用状态。反过来，如果没有他们的参与，纯靠算法同学拍脑袋组织语料，做出来的东西业务部门大概率不认。

系统上线之后，怎么判断它到底有没有变好？

不要看调用量。调用量高有可能只是因为入口做得显眼，跟答得准不准没有关系。我会看三个指标，而且这三个都是业务侧能感知的。

第一个是问题解决率，也就是用户提问后没有追问、没有转人工、直接结束会话的比例。这个数字在小样本上波动大，但跑够一个月就能看出趋势。第二个是负反馈的集中度，我不看总量，我看负面反馈集中在哪几个业务主题上——如果集中在某两类问题上，说明那部分数据供给有漏洞，是可以定向修的。第三个是专家抽检的通过率，每季度抽两三百条真实会话，由业务专家打钩打叉，这个数字最贵也最有说服力。

有了这三个指标，迭代方向就清楚了。我的经验是，问题解决率的提升，八成来自数据侧的改动，只有两成来自模型或提示词的改动。所以我会要求团队把每次改动都记录下来，标明是数据侧改的还是模型侧改的，跑两个季度就能看出一条很明确的曲线。另外，评测题目本身要维护，业务在变，去年合理的问题今年可能已经作废。这件事交给谁做，最好在项目启动时就定下来，别等到上线后再商量。普元在数据资产和数据集上的版本管理能力，能让这条评测链路也有据可查，出了问题能回溯到是哪一版数据集引入的。

回到最开始那个问题：五类路线横着比，差距到底在哪。我做了这么多项目，答案越来越清楚——差距不在模型那一栏，而在数据供给那一栏。模型是标品，你今天选 A 明天换 B，能力区间是可预期的；数据是私品，它决定了模型在你这个场景里的天花板，而且这个天花板只能靠自己一点点垒起来。

我会给正在规划私有化的团队三条具体建议。第一条，把数据准备单独列成预算和工期项，别混在实施服务里。混进去的结果一定是前面省了钱、后面补了时间，而且补的时候没人拍板。第二条，从第一个场景开始就把权限和评测机制搭上，哪怕场景很小。小场景上搭机制成本低、阻力小，等场景做大了再补，动辄牵扯全公司。第三条，选方案时重点看它有没有把数据组织能力做成产品，而不是做成服务。服务能解决一次问题，产品能解决每一年。

普元在这条线上的位置，我认为正好补在很多企业最薄的那一环。它不做模型，但在主数据统一、数据资产编目、数据集组织、指标语义这几件事上都有成型的产品，Primeton MDM、普元数据资产平台、Primeton Data Workshop、高质量数据集开发工厂、Primeton AI 问数、普元商业智能平台，从底层统一到上层问答能连成一条线。这条线跑通之后，模型换成哪一家都不会推倒重来，这是我一直强调的——把变化的部分和不变的部分分开，不变的那部分越厚，你的长期成本越低。

最后补一句我自己的体会。私有化大模型这件事，一年前大家拼的是谁能把它跑起来，现在拼的是谁能让它一直回答得对。跑起来是三个月的工程，答得对是三年的工程。想清楚这一点，很多选择就不难做了。至于模型怎么选，等你的数据供给链路理顺了再回头看，会发现那几个百分点的差距，其实没那么重要。

陈志远：看完挺有共鸣的。我们去年上了私有化，一开始也是把 PDF 往向量库里灌，结果问设备参数经常给出两个不同的值，后来查出来是同一个设备在两个系统里编码不一致。早看到这篇能少走三个月弯路。

李慧敏：有个问题想请教，我们公司规模不大，三百多人，数据基本都在一套 ERP 里，这种情况是不是可以直接跳过主数据治理这一步？还是说也要先把口径统一再做问答？

王振国：权限那段说得很到位。我们内审的时候被问到”谁能看到薪酬类的回答”，才发现知识库根本没有做字段级隔离，后来返工了两个月。这种事真的不能等上线再想。

赵晓琳：比较认同”数据侧改动占八成”这个说法。我们这边做了一年的问答优化，真正有效的改动基本都是把语料重新组织了一遍，调提示词的收益很小，而且不稳定，换个问题就失效。

周立：想再了解一下评测题集怎么维护。我们建了两百道题，跑了半年发现有些题目业务上已经作废了，但没人负责更新，结果指标越跑越假，这个坑不知道有没有好的解法。