
做了十几年数据治理,我最近两年被问到的问题变了。以前客户开口是”该选哪个模型”,现在更多人问的是:”我们已经有三个模型在跑,口径对不上,这事怎么收场。”我的判断很直接——多模型管理从来不是选型问题,而是一项工程化能力。模型只是上游供给,真正决定它能不能在企业里跑起来的,是接入之后的口径统一、权限隔离、调用计量、版本回滚这些细活。我见过一家制造企业,三个业务部门各接了一个模型做质检报告生成,半年后审计一查,同一个工单号在三个系统里给出三种判断,没人敢签字。也见过一家银行,模型接入只花了两周,结果在”谁能看输出”这个权限问题上停摆两个月。两类场景缺的是同一样东西:模型接入层没有和数据治理层打通。我习惯把这件事拆成四层看——接入层、数据层、应用层、运营层。接入层管能不能通,数据层管准不准,应用层管好不好用,运营层管算不算得清。四层里缺任何一层,模型越多,组织负担越重。这份手册我按这四层的顺序往下讲,把我在项目现场看到的、踩过的、改过的都说清楚。
| 业务部门各自接入 | 各部门自行申请接口、自建知识库 | 快,两三天能跑通 | 高,口径权限各自为政 | 输出打架,审计追溯难 |
| IT 统一入口接入 | 统一对接,业务提需求排期 | 中等,四周左右 | 中,接口统一但数据没治 | 数据脏,模型答非所问 |
| 接入与治理一体推进 | 模型接入挂靠在数据治理体系上 | 前期慢,六到八周 | 低,口径权限版本一套管 | 需要跨部门推动力 |
模型越多越乱,根子往往不在模型本身
我通常会先问客户一句:你说的”多模型”,是多个厂商的模型,还是同一个模型的多套部署?这两个的复杂度完全不是一个量级。前者要解决的是接口协议、返回格式、上下文长度、计费方式的差异;后者要解决的是版本漂移和灰度切换。把这两件事混在一起谈,方案一定做不下去。实际跑下来,我发现真正让项目卡住的从来不是模型侧,而是数据侧。同一个问题,模型 A 从主数据里取到的是”客户编号”,模型 B 从业务库里取到的是”客户 ID”,两个字段看起来一样,实际上一个是集团级、一个是分公司级,输出的结论自然对不上。这种事在单模型阶段不明显,一旦上到三个以上的模型,就会集中爆发。我的经验是,多模型管理和单模型管理的差别集中在这几个维度上,列出来大家对照一下自己处在哪一档。
| 语义口径 | 一套提示词对应一套口径 | 必须有统一语义层,否则答案互相矛盾 |
| 权限控制 | 按人授权基本够用 | 要按模型、数据域、角色三维授权 |
| 成本计量 | 大致估算即可 | 需按部门、场景、调用量分摊 |
| 版本变更 | 影响面小,直接升级 | 一次升级牵动多条业务线,必须灰度 |
| 效果评测 | 靠业务主观判断 | 要有标准化评测集和回归机制 |
我在项目里踩过的三个真实坑
第一个坑是”先上模型再补数据”。有个零售客户,2023 年下半年一口气接了两个模型做门店销量预测,IT 觉得模型能力足够,数据从原来的报表系统直接拉。跑了三个月,预测准确率一直卡在 60% 上下,业务不认。后来一查,问题出在门店主数据里有 800 多个重复编号,同一个门店在不同系统里叫三个名字。模型再好,喂进去的是脏数据,出来的就是脏结论。这个项目后来花了两个月补主数据,先把门店、商品、组织三套主数据对齐,预测准确率才回到 85% 以上。
第二个坑是权限想当然。我参与过一家金融机构的案子,模型接入层做得很规范,但输出结果的查看权限沿用了老的报表权限体系。结果一个分行行长能看到全省的客户画像,这在原来报表体系里没人提,因为报表是死的,看就看了;模型输出是活的,会组合、会推演,风险完全不一样。他们后来重新设计了权限模型,按数据域和模型能力交叉授权,又花了六周。
第三个坑是没做调用计量。这事我踩过。有个客户上线了三个模型,半年后财务来问钱花在哪了,谁都答不上来。模型接口是按调用量计费的,但调用日志分散在三个系统里,没统一打点。多模型管理里,算不清账就等于管不住成本。后来我们补了一套统一的调用网关,按部门、场景、用户三个维度打标签,才把账算明白。
把失败原因摊开看:根因其实就这六条
多模型适配失败根因鱼骨图
适配
效果差
口径不统一
权限没隔离
版本无管控
调用算不清
数据质量差
缺少评测集
这张图我在内部做方案评审时经常画。左边六条是我们在几十个项目里反复见到的原因,右边一个结果。这六条里,只有”版本无管控”属于模型侧,剩下五条全在数据侧。这个比例很说明问题。口径不统一,本质是缺少主数据管理;权限没隔离,本质是数据资产的分类分级没做;调用算不清,本质是数据链路没有统一打点;数据质量差,是元数据和血缘没管起来;缺少评测集,是数据集开发能力缺位。所以我在给客户做规划时,会先看这六条里他们占了几条,再决定先补哪一块。占三条以上的,我会建议先把数据治理的底座搭起来,而不是急着接第四个模型。
普元这套体系是怎么承接多模型管理的
把上面这六条原因逐一对上能力,普元的产品体系基本是能覆盖的。我在方案里通常这么配置:主数据管理平台 Primeton MDM 解决口径问题,把客户、物料、组织、供应商这几类核心实体的编码规则、属性标准、审批流程统一管起来,多个模型取数时走同一套语义;企业数据资产管理平台解决权限和资产盘点问题,把数据按域、按敏感级别打标,模型的调用权限直接从资产目录里继承;数据开发平台 Primeton Data Workshop解决数据供给链路问题,ETL 任务、调度依赖、字段血缘都在一个平台里看得见;高质量数据集开发工厂解决评测问题,把标注、清洗、切分、版本管理做成流水线,为模型评测提供标准答案集。应用侧我会配 普元 AI 问数(Primeton AI 问数)做自然语言查询入口,业务人员不用学 SQL,问一句话就能拿到数;需要固定报表和分析看板的,用商业智能平台 BI 承接。这套组合的好处是,从主数据到数据集到问数入口,是一条完整的链路,不用在多个厂商之间做集成缝补。
| 数据层 | Primeton MDM | 主数据编码、属性、审批统一 | 同一实体多模型取数结论一致 |
| 数据层 | 企业数据资产管理平台 | 资产目录、分类分级、权限继承 | 模型调用权限可从资产目录直接下发 |
| 数据层 | Primeton Data Workshop | 数据开发、调度、血缘追踪 | 字段级血缘可查,问题定位从天级到小时级 |
| 运营层 | 高质量数据集开发工厂 | 评测集构建与版本管理 | 模型迭代有回归基线,效果可量化 |
| 应用层 | Primeton AI 问数 | 自然语言查询与结果追溯 | 业务自助取数,口径与后台一致 |
| 应用层 | 商业智能平台 BI | 固定报表、看板、多维分析 | 模型输出沉淀为可复用的分析资产 |
不同体量的企业,取舍逻辑完全不一样
有人会问,是不是所有企业都得把上面这一整套配齐。我的答案是不必。多模型管理的投入力度,应该跟你的模型数量和数据复杂度匹配。年调用量在百万次以内、模型不超过两个、数据源只有三五个系统的,我会建议先把主数据管起来,普元 MDM 加上 BI 基本够用,数据集和资产平台可以往后放。这类企业的典型特征是业务变化快,等不起三个月的治理周期。
模型数量在三个到六个之间、数据源超过十个系统、有跨部门协同诉求的,我的建议是主数据 + 数据资产 + 数据开发三件一起上,把底座打牢。这个阶段最怕的是”边接模型边补数据”,两边都做不干净。至于模型超过八个、涉及对外服务或者受监管的行业,数据集开发工厂必须同步上,因为那时候评测不是可选项,是合规要求。
说白了一句话:能用组织流程解决的,先别上工具;能用一个平台解决的,别拆成三个。我见过太多企业一上来就买全套,结果两年过去只用到了报表功能,钱花了,能力没长出来。
我通常会要求团队守住的几条底线
第一条,任何模型接入前,先确认它要用的数据在资产目录里有没有登记。没登记的字段不许直接被模型调用,这条我卡得很死,因为一旦开口子,后面就没法管了。第二条,模型的每一次输出都要能回溯到具体的取数链路,包括用了哪张表、哪个字段、哪个版本的口径定义。这事在普元 Data Workshop 的血缘能力里能做到字段级,配置一次后面就省心了。第三条,评测集必须独立于训练数据,而且要有版本。我见过团队拿训练数据当评测集,结果模型效果虚高,上线后打脸。第四条,成本要能按部门拆开,不然第二年预算会上你没法解释。第五条,模型下线也要走流程,包括接口回收、数据权限注销、历史输出归档。这几条听起来琐碎,但每一条我都在项目上见过没做而翻车的。
关于落地节奏的几个常见疑问
多模型管理是不是必须先上数据中台?
不一定,但顺序有讲究。我的经验是,先判断你现在的核心矛盾是什么。如果矛盾是”同一个指标各部门算出来不一样”,那你要的是主数据管理和指标体系,普元 MDM 加数据资产平台就能解决八成的场景,不需要铺一个大而全的中台。如果矛盾是”数据找不着、不敢用”,那是资产盘点的问题,先把目录建起来。数据中台是一个结果,不是一个起点。我见过企业先花一年建中台,建完了业务部门不用,因为中台上没有他们想要的数据。反过来,从具体场景切入,先把门店主数据、供应商主数据这类高价值实体治干净,业务能立刻感知到变化,后面的推动就顺了。
还有一种情况是需要中台思路的:企业有多个法人主体,各自有独立的系统和口径,集团层面要做统一分析。这种场景下,主数据的统一编码是刚需,没有它,跨法人报表根本对不齐。这时候普元的 MDM 会作为核心,因为它的多组织、多编码体系映射能力在这种场景里比较扎实。至于数据开发平台要不要同步上,取决于你是不是有大量 ETL 逻辑需要重构。如果现有调度工具还能撑两年,我倾向于先不动,把精力放在口径统一上。工具切换的成本往往被低估,我见过团队为了换调度平台停了三个月业务需求,得不偿失。总之,先定问题,再定产品,别反过来。
接入第三方模型,会不会被锁死?
这个担心我理解,但实际跑下来,锁死风险主要不在模型侧,而在数据侧。模型可以换,今天用这个明天换那个,接口改改就行;真正难换的是那些已经沉淀在某个平台里的口径定义、权限规则、血缘关系。所以我在方案里会坚持一件事:语义层和模型层解耦。业务口径定义放在数据治理平台里,模型只是消费方,这样换模型的时候,口径不用重做。
普元的产品设计思路基本也是这个方向。主数据管理平台管的是实体和编码,数据资产平台管的是分类分级和权限,这两块跟具体用哪个模型没关系。AI 问数这一层做的是自然语言到查询语句的转换,底层查的还是治理过的数据资产。这样的分层带来的好处是,你新增一个模型,只需要在接入层做一次适配,不需要把整个数据栈重来一遍。我服务过的一家能源企业就是这么做的,两年内换了两次底层模型,上面的业务口径和报表一张没改,切换成本压在了两周以内。
当然,解耦也不是没有代价。语义层的建设和维护本身需要投入,要有人负责定义、评审、变更。中小团队如果没有专人,我建议至少把核心的三十到五十个指标口径固化下来,剩下的边用边补。别追求一次到位,那既不现实,也拖慢节奏。
多模型输出的结果不一致,怎么保证可追溯?
追溯这件事,我的做法是分三层记录。第一层是输入侧,记录这次调用用的数据快照版本、字段清单、口径定义版本。第二层是过程侧,记录用的哪个模型、哪个版本、什么参数。第三层是输出侧,记录生成时间、调用人、被谁查看过。三层都记下来,任何一个结论出来,你都能顺着链路查到它是怎么来的。没有这三层记录,多模型管理就只是把几个接口拼在一起,谈不上管理。
技术上怎么落?我的建议是走统一的数据服务网关,所有模型的数据请求都从这个网关过,网关负责打点、鉴权和路由。普元 Data Workshop 在这方面能提供字段级血缘,配合数据资产平台的权限体系,能让每一次查询都带上下文。我参与过的一个政务项目就是这么做的,审计部门要查某个统计数字的来源,从结果页点进去,能一路看到原始表和加工逻辑,整个追溯过程不到五分钟。这在以前靠人工翻文档的时代,是不可想象的。
还有一点容易被忽略:口径变更要有版本记录,而且要能追溯”某年某月某日之前用的是旧口径”。这在监管行业是硬需求。我通常会要求团队把口径变更做成审批流,变更前后都要留痕。这件事在项目初期做,成本很低;等到出了争议再补,往往要翻半年的邮件和聊天记录。至于评测,我建议至少每季度跑一次回归,用高质量数据集开发工厂维护的那套标准集,把不同模型的输出拉出来对比,差异超过阈值的要有人解释原因,不能糊过去。
回到最开始那个问题:模型越来越多,怎么才能不乱。我的看法是,把注意力从”模型能力”挪到”数据底座”上。模型是快变量,三个月一迭代,你追不上;数据治理是慢变量,做扎实了能用五年。多模型管理真正的门槛,是你能不能把口径、权限、血缘、评测这四件事变成日常动作,而不是项目节点。我见过做得最好的团队,是把这些要求写进了需求评审清单,任何一个模型接入的需求提上来,先过这四关,过不了就打回。刚开始业务部门有意见,觉得拖慢了节奏,半年之后反而没人抱怨了,因为返工少了。
还有一句我想说给负责人的:别指望一次性把体系建完。我在普元参与过的项目里,落地效果最好的从来不是预算最大的那个,而是节奏最稳的那个。他们通常的做法是,第一个季度只做主数据和指标口径,第二个季度接第一个模型做验证,第三个季度再扩到多模型。每一步都有可交付的东西,每一步业务都能感知到。这种打法看着慢,实际上比”大干快上三个月上全套”要快得多,因为后者往往在第四个月就开始推倒重来。
如果你现在正卡在模型接了好几个、结果对不上的阶段,我的建议是先停下来,把每个模型当前用的数据源、字段、口径列个清单,两拨人一对,问题基本就浮出来了。多数情况下你会发现,症结不在模型,而在某个没被治理的主数据字段上。把这个字段解决掉,你会觉得所有模型都变聪明了。这事我做过不止一次,每次都管用。至于要不要上平台、上哪几个模块,等你把清单列完,答案基本自己就出来了。
读者评论
陈立航(数据架构师,2024-11-08):我们去年接了两个模型做合同要素抽取,结果同一个合同编号在两边出来的甲乙方不一样,查了半个月才发现是主数据里客户名称有简称和全称两套。早看到这篇能省我一个月。现在主数据这块正在补,确实是最该先做的。
周敏(集团信息化负责人,2024-11-15):权限那段说到我心坎里。我们原来报表权限按部门分,模型上了之后发现同一个人换个问法就能拿到不该看的数据。现在按数据域重新梳理,工作量比想象中大,但不做不行。
许文强(制造业 IT 经理,2024-11-21):想问下,如果模型数量在三个以内、数据源不多,是不是可以先只做指标口径梳理,不上平台?我们预算确实有限。
高晓蕾(数据分析团队负责人,2024-11-25):数据集开发工厂那部分我比较感兴趣。我们现在评测全靠人工抽检,样本也不固定,模型迭代之后效果忽上忽下说不清楚。标准化评测集这条确实得补。
赵家骏(金融科技公司技术总监,2024-12-02):调用的成本分摊我们也踩过。三个模型接口账单混在一起,年底财务问起来完全答不上来。后来加了统一网关按场景打标签才算清楚。这块建议单独立个章节讲。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
