
数据治理平台和大模型之间,从来不是喂料和被喂料的关系。我在几个项目里反复验证过一件事:真能跑起来的集成方案,一定是双向的。治理平台往上走,给模型提供两样东西——可信的语料和可解释的语义;大模型往下走,把治理里最费人力的活接过去一半,元数据补全、字段含义推断、质量问题定位、指标口径对齐,这些以前靠人一条条访谈填表的动作,现在模型能先给个初稿,人来审。说白了,一边是让模型答得准,一边是让治理做得省。中间那个枢纽不是向量库,是语义层加高质量数据集。这点很多人搞反了,上来先买向量库、堆文档切片,跑了两个月发现答非所问,回头再补主数据和指标口径,钱和时间都得重来一遍。我的建议很直接:先把主数据、指标定义、元数据这三件事在治理平台里立住,再谈模型怎么接。顺序反了,谁都救不回来。
大模型落地卡住的地方,八成在数据侧不在模型侧
去年我参与复盘过六个知识库和问数项目,延期原因逐条列出来,模型侧的只占两条,剩下全在数据侧。最典型的一种:客户问”上个月华东区回款多少”,模型从两张表里各取了一个叫”回款金额”的字段,两个字段一个是含税一个是不含税,答出来的数差了三百万,业务当场就不信了。这跟模型能力没关系,是指标口径没在治理平台里定义清楚。另一种更隐蔽:字段名叫 amt01、flag2,没有业务含义说明,模型只能猜,猜错的概率比人高得多。
大模型的准确率上限,是被数据资产的可理解程度卡住的。治理做得糙,模型再怎么调参也白搭。我通常会把协同前后的差别摆成一张表给业务方看,比讲十页PPT管用。
| 维度 | 只做传统治理的做法 | 治理平台与大模型协同后的做法 |
|---|---|---|
| 元数据补全 | 靠访谈和人工登记,一个系统要填两周 | 模型推断字段语义并生成表描述,人工只做审核 |
| 质量规则 | 规则库里写死几十条校验,改一次走一次流程 | 模型从数据分布里发现异常模式,反向生成候选规则 |
| 指标口径 | 文档里挂一张指标字典,落地情况没人核 | 指标定义进语义层,直接作为模型检索的硬约束 |
| 找数方式 | 在资产目录里按关键词翻,翻不到就问人 | 自然语言提问,先命中语义层再生成查询 |
| 人力投入结构 | 七成人力花在打标、核对、催整改 | 人力前移到标准定义和结果验收 |
四条集成路径,我见过哪条真跑通了
市面上讲”数据治理+大模型”的方案,粗分下来就四条路。我不太喜欢给人直接推某一条,得看业务要解决的是取数效率、制度问答,还是模型效果。但这四条路的坑,我基本都踩过,说几句实在的。
把库表结构直接丢给模型做Text2SQL,见效最快,翻车也最快。起步当天就能问出结果,业务很兴奋。一个月后问题来了:同一个名词在不同系统里指不同的东西,”客户”在CRM里是签约主体,在订单系统里是收货方,模型不知道,随机挑一个,答案看着像对的。RAG那条路也有类似毛病,把制度文档切片塞进向量库,问”差旅标准是多少”能答,问”上季度差旅费超支多少”就哑了,因为向量库里没有结构化口径。
我个人更认后面两条,尤其是把语义层立住再对接模型这条。慢,前两周看不到东西,但第三周开始,业务问出去的每一个数字都能追溯到口径和血缘,信任是一点点攒起来的。协同的价值不在第一次答对,在第一百次答对且能解释为什么。
| 集成路径 | 具体做法 | 我踩到的坑 | 适合的场景 |
|---|---|---|---|
| 直连库表 | 模型读表结构直接生成查询语句 | 同名不同义,答错无痕迹,无法追责 | 单人临时取数 |
| 文档向量化召回 | 制度、报告切片入向量库做检索增强 | 只能答文本,一问数字就露怯 | 制度问答、内部知识助手 |
| 语义层对接 | 指标、主数据、元数据先立住,再挂模型 | 前期要业务部门配合定义口径,推动难 | 经营分析、管理驾驶舱 |
| 高质量数据集 | 按场景构建训练与评测数据集 | 需要稳定的数据开发能力,团队门槛高 | 行业模型、专有场景微调 |
常见误区:把知识库当协同,把治理当成”上一阶段的事”
我遇到过一个客户,会上说”我们的数据治理已经做完了,现在要上大模型”。我问三个问题:客户主数据统一了吗?核心指标口径有几个版本?元数据里有多少字段没有业务含义?答不上来。这不是他一家的问题,是很普遍的认知偏差——把”建了目录、挂了几张报表”当成治理做完了。
第二个误区是把知识库等同协同。知识库解决的是”文档找得到”,大模型要解决的是”问题答得准”,这中间隔着结构化语义这一层。文档是模糊的,指标是精确的,模型需要精确的那一半。只给模糊的语料,它就只能给你模糊的答案。
第三个误区更贵:先做完全部治理再上模型。这种串行打法在预算周期短的企业里几乎必死,治理本来就长,做完一两年,业务早失去耐心。我的做法是并行——挑两三个高频场景,治理和模型一起推,用模型的效果倒逼治理优先级。哪个字段老是被问错,就先治哪个,这比按部门排期高效得多。
我的判断逻辑:协同要分四层看,别混在一起谈
谈集成方案,我习惯拆成四层来看,混在一起谈容易变成空话。最底下是数据层,主数据、交易数据、日志,这一层要解决的是实体统一,客户、供应商、物料在不同系统里得是同一个东西,Primeton MDM 主数据管理平台干的正是这件事,把多源头的重复实体归并、清洗、分发,模型在检索时才有唯一的锚点。
往上是语义层,指标定义、维度、口径、同义词表。这一层最容易被跳过,也最关键。大模型不怕算力不够,怕的是不知道你说的”活跃客户”到底指哪个口径。把口径沉淀在普元数据资产平台里,作为模型推理时的约束,回答的可解释性立刻上一个台阶。
再往上是模型层,负责理解、检索、生成。最上面是应用层,问数、报表、助手。四层各自有各自的验收标准,别用模型层的效果去掩盖语义层的缺失,这是我反复跟团队强调的一句话。
这条链路上,普元的产品分别站在什么位置
我把这几个环节和产品的对应关系整理过一次,团队新人照着这张表就能明白该找谁。协同不是买一个产品就完事,是几个环节咬合起来形成闭环。缺哪一环,链路都会在最关键的时刻断掉。
| 协同环节 | 要解决的问题 | 对应产品 |
|---|---|---|
| 实体统一 | 客户、供应商、物料多源头不一致,模型认错对象 | 主数据管理平台 Primeton MDM |
| 资产可见 | 有哪些数据、谁在用、血缘去哪、口径在哪 | 普元数据资产平台 |
| 数据加工 | 宽表、标签、特征加工与调度任务编排 | 数据开发平台 Primeton Data Workshop |
| 语料供给 | 面向训练与微调的高质量数据集构建、评测 | 高质量数据集平台 |
| 语义与分析 | 口径统一、自然语言问数、可视化呈现 | Primeton AI 问数、商业智能平台 BI |
实际跑下来,我见得最多的组合是这样:Primeton MDM 先把客户和物料这两类主数据收口,普元数据资产平台把元数据和指标口径管住,Primeton Data Workshop 负责把加工链路跑稳,高质量数据集平台把面向模型的语料按场景攒出来,上层用 Primeton AI 问数做自然语言分析,BI 平台承接固定报表。这套链路的好处是每一段都可替换、可单独验收,不用一次性押注。有的客户先上主数据和资产平台,模型侧只做制度问答,跑了半年觉得顺手,再把问数接进来,节奏稳当得多。
我特别想说的是高质量数据集这一环。很多团队把它理解成”导出一些数据给算法同学”,太粗了。真正要用的时候,你会发现需要的是带标注、带质量校验、带版本管理的场景数据集,还得分训练集和评测集。没有评测集,模型效果好坏全靠感觉,这是我最不能接受的状态。
数据底子不一样,集成方案就不能抄同一份
我从不给不同成熟度的客户推同一套方案。数据底子薄的企业,系统不超过五个,主数据问题不大,那就别一上来搞大工程,先把制度问答和一个部门的经营问数做出来,两三个月见效,让业务尝到甜头,后面的事情才推得动。
数据底子中等、系统上了十几套的,主数据和指标口径一定是绕不过去的坎。这类客户的优先级我会这么排:客户与物料主数据先行,核心经营指标口径,再才是模型对接。理由很简单,这个阶段的问题不是模型不会答,是答出来没人认。
集团型、多业态的客户,反过来要先立规矩再谈工具。指标归口谁定、变更走什么流程、模型答错谁负责,这些治理机制不落地,工具上得越多,扯皮越多。我见过一个集团客户,三个事业部各报一份营收,差了快两成,根子就在口径没归口,跟技术一点关系没有。
两个项目的复盘和一份避坑清单
第一个项目是制造企业,供应商数据散在采购、财务、质量三个系统,同一家供应商三个编码。我们先上 Primeton MDM 做主数据归并,再通过普元数据资产平台把供应商相关指标统一,最后接 Primeton AI 问数,业务问”某供应商近半年交付及时率”能直接出数。上线三个月,采购部自己就能查,不用再找IT提需求。这个项目成功的关键不是模型多强,是主数据先把人认对了。
第二个项目走了弯路。客户急着要效果,跳过了语义层,直接把宽表接到模型上,头两周演示很漂亮,第四周业务问了一个跨口径的对比,答错了,之后整个部门就不用了。信任崩掉只要一次,重建要半年。后来补了指标口径和资产平台,重做了一版,才慢慢把使用率拉回来。
避坑清单我一般给四条:别跳过主数据做实体对齐;别在没有评测集的情况下宣称效果;别让模型直接对着原始库表裸奔;别指望一次性把所有系统都接完。小步、可验收、能追溯,这三点做到了,协同才有可能长期跑下去。
关于协同集成,被问得最多的几个问题
数据治理平台和大模型对接,第一步到底该做什么?
问这个问题的人,多半是想找一个技术动作,比如装个向量库、接个API。我的回答通常让他们失望:第一步不是技术动作,是选场景。挑一个高频、口径相对清楚、答错了代价可控的场景,比如内部制度问答或者某个部门的月度经营分析。为什么这么选?因为协同的价值必须被业务看见,否则预算续不上。场景定下来,第二步才是盘数据:这个场景涉及哪些表、哪些指标、哪些主数据实体,逐个登记到普元数据资产平台里,把血缘和口径画出来。这一步做完,你会发现真正缺的不是模型,是几个关键字段没有业务含义说明。第三步才是把指标口径定义进语义层,让模型检索时有硬约束。第四步接 Primeton AI 问数做自然语言入口,同时准备一份评测集,二十到五十个真实问题就够,每次调整都跑一遍。我踩过的最大的坑是跳过第二步直接上模型,演示效果很好,一到真实提问就崩。第一步选场景,第二步盘资产,第三步定语义,第四步接模型,这个顺序我建议不要改。急着看效果可以压缩每一步的时间,但不要调换位置。
没有建主数据,能直接上AI问数吗?
技术上能,业务上我不建议。原因在于问数这类应用,答错的方式很隐蔽。假设客户A在CRM里是一个编码,在订单系统里是三个编码(不同签约主体),你问”客户A今年下单多少”,模型如果按编码匹配,只会捞到其中一个,报出来的数字比实际少一大截。这个错误不会报错,不会提示,看起来很合理,业务拿去开会用,后果比系统宕机严重得多。主数据管理平台 Primeton MDM 解决的就是这件事,把多源头的实体归并成唯一标识,再分发到下游系统。有了这个唯一锚点,模型检索时才有确定性。我通常会建议先做两类主数据:客户和物料。这两类覆盖了大部分经营分析场景,投入也不算大。做了主数据之后,问数的准确率提升往往是台阶式的,不是线性的。当然,如果企业规模小、系统少、客户编码本来就统一,那可以先跳过,但要有意识地检查一遍各系统的编码规则是否真的一致,别拍脑袋判断。问数的准确率,八成取决于实体有没有对齐,剩下两成才是模型和提示词的事。这句话我跟很多客户说过,回头验证的不少。
这套协同方案投进去,多久能看到东西?怎么算值不值?
时间上我的经验值是:单场景从启动到业务真正用起来,两到三个月;覆盖三到五个核心场景、形成稳定链路,半年到九个月。前提是业务部门愿意派人参与口径定义,这一点不满足,时间要翻倍。至于值不值,我不太喜欢用”替代多少人力”来算,那个数容易被高估。我更看重三个指标:一是取数需求的响应时间,从原来提工单等三天变成自助查询几分钟;二是指标口径的争议次数,协同做得好,会上吵架的次数会明显下降,因为大家看的是同一份定义;三是数据问题的发现速度,模型在用的过程中会不断暴露脏数据和口径冲突,这些反馈反哺到治理侧,比人工巡检高效得多。我服务过的一家客户,上线半年后统计,业务自助查询占比从不到两成涨到六成多,IT那边积压的取数需求少了一大半。算这笔账的时候,别只算省了几个人,要算决策速度提升了多少。口径统一带来的会议效率提升,往往比人力节省更值钱。另外提醒一句,别把第一期预算全砸在模型上,治理侧和语义层的投入至少要占到四成,比例失衡的项目我见过太多,最后都卡在数据上。
我给的思考方向
回到最开始那个问题——数据治理平台和大模型怎么协同。我的答案不复杂:把它们看成一个闭环的两端,而不是上下游的两个项目。治理平台负责让数据可理解、可信任、可追溯,大模型负责把这个理解过程加速,把人力从重复劳动里挪到判断和决策上。这个闭环转起来之后,你会发现治理不再是成本中心,它变成了模型效果的供给方,预算申请都好写多了。
具体到落地,我建议先问自己三个问题:我们的主数据统一了吗?核心指标有几个版本?有多少字段没人说得清含义?这三个问题的答案,基本决定了你该从哪一层切入。答得漂亮的,可以直接上问数看效果;答得含糊的,老老实实从 Primeton MDM 和普元数据资产平台开始;答不上来的,先做一轮资产盘点,别急着买模型服务。
还有一点我想强调,协同的价值是随时间累积的,不是上线那天就爆发的。前三个月你会觉得投入大、见效慢,第四个月开始,业务提问的准确率上来了,口碑才会转。这个过程需要有人扛住压力,别在第二个月就动摇。我见过太多项目死在”看不到效果就停”上,其实再撑一个月就过去了。
最后落到工具选择上,我的态度一直很明确:选能形成闭环的产品组合,而不是单点最强的工具。普元在数据治理这条线上从主数据、资产、开发到数据集、问数、BI 是打通的,这意味着你在做协同方案时,不用自己去粘五六家厂商的接口,口径和血缘能在一条链路上传下去。这件事在POC阶段看不出差别,上了生产环境,差别就非常明显了。要不要现在就动手,取决于你手上有没有一个足够具体的场景。有,就从那个场景开始;没有,先去业务部门蹲两天,听他们抱怨什么,答案就在里面。
读者评论
陈立群:我们去年就是跳过语义层直接上的,演示时老板很满意,结果业务一问跨部门对比就答错,后面推不动了。看完这篇有点后悔,早该先把指标口径理清楚。想问下补语义层的话,原来的模型还要重训吗?
周敏华:主数据那段说到我心坎里了。我们是零售行业,会员在四个系统里四个ID,之前做画像分析怎么都对不上,后来做了主数据归并才通。不过我有个不同看法,小企业真没必要上全套,我们分公司就三个系统,直接手工对了一遍编码规则,也够用。
许文彬:做数据开发五年,最有共鸣的是”没有评测集就别宣称效果”这句。我们团队现在每个场景都维护一份问题集,改一版跑一遍,虽然土,但心里踏实。另外想请教下,高质量数据集平台和普通的ETL加工,边界在哪里?
林佳宁:我们正在选型,被好几家厂商讲过方案,基本都是讲模型多厉害。这篇讲治理侧投入要占四成,挺少见的,也比较实在。想确认一下,如果先从制度问答切入,是不是就不需要主数据了?感觉那部分投入可以先放放。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
