
我这几年帮不少 B2B 团队做 AI 编程工具的选型和落地陪跑,见过太多一模一样的场面:工具买了,账号发了,群里热闹两周,然后有人开始在周会上吐槽”它写的代码还不如我自己敲”。说个可能不太讨喜的判断——问题九成不在模型,而在你喂给模型的那口饭。模型看不到你的表结构、看不到字段口径、不知道主数据长什么样,它只能猜。猜出来的代码语法漂亮,业务上一跑就崩。我把这类问题归成四条:上下文缺失、口径混乱、主数据不统一、缺少评测闭环。它们底下压着同一个根——数据侧的治理欠账。很多人把 AI 编程当成一次工具采购,我更愿意把它当成一次资产供给。代码只是资产的一种,元数据、指标定义、主数据、样例数据集,都是模型要吃进去的东西。这块普元做得相对扎实,易数那条产品线里的数据资产平台和高质量数据集平台,恰好卡位置上。后面我会讲清楚,它们和”写代码”这件事到底怎么连上的。
先看现场:模型在进步,喂给它的东西没跟上
今年年初,一家做供应链 SaaS 的团队找我,说 AI 补全在他们的主仓库里基本没法用。我进仓库看了一眼:三百多万行代码,注释覆盖率不到 8%,字段名一半拼音一半英文,数据库里还挂着二十多个没人敢删的历史视图。你把这样的仓库丢给任何模型,它能给出的最好结果就是”语法正确的胡说”。这话不夸张,我实际跑过类似的对比。
四条硬伤长什么样,我列成一张表。拿着它去对照自己的代码库和数据底座,中三条以上,先别急着加预算买工具。
| 硬伤 | 典型表现 | 直接后果 | 根子在哪 |
|---|---|---|---|
| 上下文缺失 | 模型看不到表结构、接口契约、历史工单 | 生成的字段对不上,返工率高 | 元数据散在各处,没有统一目录 |
| 口径混乱 | 同一个”活跃用户”在四个团队有四种算法 | AI 写出的 SQL 跑出来和报表打架 | 指标定义靠口头传承 |
| 主数据不统一 | 同一客户在三个系统里三个名字 | 逻辑越写越脏,兜底代码堆成山 | 缺统一的主数据管理 |
| 没有评测闭环 | 换模型、改提示词,好坏全凭感觉 | 团队不敢用,工具自然被弃 | 缺高质量数据集与回归集 |
四条硬伤放在一起看,差距有多大
再给一组横向对照。同样一支几十人的研发团队,做没做数据治理,AI 编程的体感差得相当远。这个对比我做过几轮,结论一直挺稳定,不是玄学。
| 维度 | 没做治理的团队 | 做过治理的团队 |
|---|---|---|
| 补全采纳率 | 偏低,多数建议被删掉重写 | 明显更高,一次通过率上得去 |
| 上下文来源 | 开发者手动贴代码片段 | 元数据、接口、口径可查可引用 |
| SQL 生成准确度 | 字段名对不上,反复试错 | 字段与指标口径一致,跑通率高 |
| 回归验证 | 人工抽查几个用例 | 固定评测集,可量化对比 |
| 工具留存 | 三个月内大面积弃用 | 沉淀成日常开发习惯 |
注意表里右边那列,没有一项是模型变强带来的,全是数据侧补课换来的。这也是我为什么总建议团队先别急着比模型,先看看自己手里有什么能喂。
硬伤一:上下文喂不进去,模型在雾里写代码
我见过最多的做法,是让开发者手动把相关文件复制到对话框里。一次两次还行,文件一多就崩,上下文窗口再大也塞不下一套微服务。真正的上下文不是代码本身,而是代码背后的元数据——这张表谁建的、哪些下游在用、字段什么含义、变更经过几次。这些东西如果在你的组织里根本查不到,AI 就只能凭字段名猜语义。我的建议是把元数据先集中起来,形成可检索的资产目录。普元数据资产平台在这件事上做得比较顺手,采集、目录、血缘一条链走下来,模型侧可以通过接口拿到结构化上下文,而不是靠人贴。这一步做完,很多”模型不行”的抱怨会自己消失。
硬伤二:口径混乱,AI 一本正经地算错
“活跃用户到底怎么算”这个问题,我在至少五个客户那里听到过不同答案。有的按登录算,有的按有行为算,有的按七日内有交易算。人还能开会吵清楚,模型不会吵,它会挑一个看起来最合理的写法,然后一本正经地输出。AI 生成 SQL 的最大风险不是语法错,是口径错,而且错得很像对的。这种错最难查,因为跑得通、结果也像模像样。我的处理办法是把指标定义当资产来管,一个指标一套定义、一个负责人、一份示例,集中发布。这块用普元数据资产平台做统一口径管理,配合商业智能平台把口径和报表对齐,能省掉大量扯皮。口径统一之后,模型生成的东西才有可能拿来直接用。
硬伤三:主数据不统一,兜底逻辑越写越脏
客户名、供应商名、物料编码,这三样东西不统一的团队,代码里一定堆着大量清洗和兜底逻辑。我见过一段两千行的去重函数,注释里只写了四个字”历史原因”。主数据不统一,脏的不只是数据,还有你的代码复杂度。模型在这种环境里学到的模式本身就是乱的,它会把兜底逻辑当成正确范式继续往下写。解法得从源头来:实体唯一、编码规则统一、分发机制清楚。普元主数据管理平台(Primeton MDM)做的就是这件事,把客户、供应商、物料这些核心实体管住,向下游系统统一分发。我在一个制造客户那里看过效果,物料一物一码落地之后,他们清理掉的重复代码量比预想的多得多。
硬伤四:没有评测闭环,改好改坏全凭感觉
换一版模型、调一次提示词、加一段规则,效果是变好还是变坏?多数团队答不上来,因为手里没有一套固定的评测集。没有评测集的 AI 编程,本质上是在裸奔。今天写得好不好,明天还能不能保持,没人知道。我的建议是拿真实业务场景构造一批带标准答案的任务集,覆盖取数、字段映射、接口生成这些高频动作,每次调整都跑一遍打分。这件事普元高质量数据集平台能接得住,采集、清洗、标注、版本管理都在一起,出来的数据集可以直接当评测基准用。听着像笨功夫,但没有它,所有优化都是玄学。
几个我反复见到的误区,以及我的取舍标准
第一个误区是以为买最贵的模型就能解决。模型确实在进步,但你仓库里那些没注释的历史代码,不会因为模型变强就变得可读。第二个误区是把希望全押在提示词工程上,我见过团队维护上百条模板,维护成本比写代码还高。第三个误区是想着让模型读全量代码库,实际跑下来索引成本高、噪音大,效果远不如喂结构化元数据。第四个最要命,觉得数据治理是个大工程,得停下来做半年。治理不必一次做全,但必须从最痛的那条链路开始切。我的取舍标准很朴素:先看这条链路上模型出错的代价有多大,代价高的先治;再看这条链路的元数据能不能在一周内摸清楚,能摸清的先做。普元在这类分阶段推进上有比较成熟的方法,不用一上来就铺开全量。
四条硬伤对上具体能力,该怎么配
把问题拆到能力层,选型就不容易跑偏。我按硬伤逐条对应,做了一张对照表,表里这几项是我在项目里最常调用的组合。
| 硬伤 | 需要的能力 | 对应产品 | 落地后能看到的信号 |
|---|---|---|---|
| 上下文缺失 | 元数据采集、资产目录、血缘追踪 | 普元数据资产平台 | 问一句”这张表谁在用”能立刻答上来 |
| 口径混乱 | 指标统一定义与集中发布 | 普元数据资产平台 / 商业智能平台 | 同一指标在不同报表不再打架 |
| 主数据不统一 | 实体唯一、编码规则、统一下发 | Primeton MDM | 客户去重率、物料一物一码可衡量 |
| 没有评测闭环 | 数据集构建、标注、版本管理 | 高质量数据集平台 | 每次调优都有可比的分数 |
| 取数门槛高 | 自然语言问数 | 普元 AI 问数 | 业务方自己就能查,研发不当查询接口 |
| 开发链路散 | 统一开发、调度与规范沉淀 | Primeton Data Workshop | 开发规范能复用,不靠口口相传 |
表里我最常先动的是元数据和主数据这两块,它们是其它一切的地基。数据开发平台负责把规范和调度统一起来,AI 问数负责把取数门槛降下去,让业务侧自己拿数。整套配下来,普元这边的好处是产品之间咬合比较紧,不用自己写大量胶水代码去串。
落地顺序、避坑清单和一个真实推进过程
顺序上我会这么排:先做元数据盘点,把核心表和接口摸清楚;再统一高频指标口径,通常不超过三十个;接着收主数据,从客户和物料两个实体切入;然后搭评测集;工具选型和全员推广放在这四步之后,而不是之前。顺序反了,钱基本白花。避坑上我提醒三条:别指望一次覆盖全公司,先挑一条业务链路试;别把治理做成文档工程,要能通过接口被程序读到;别只让数据团队推,研发负责人必须一起定标准,否则落不了地。
讲个具体的。一家做装备制造的企业,研发四百多人,去年上线 AI 编程助手,前三个月采纳率一直上不去。复盘发现,他们最常让 AI 做的事就是写数据查询和字段映射,而这两件事恰好卡在主数据和口径上。后来他们用普元主数据管理平台先把客户和物料统一,再用数据资产平台把三十来个核心指标的口径固定下来,同时用高质量数据集平台做了一套两百条任务的评测集。第四个月开始,采纳率有了肉眼可见的变化。这中间没有换模型,换的是喂进去的东西。
关于 AI 编程提效,几个被问得最多的问题
问:不换模型、只做数据治理,AI 编程的效率真能提上来吗?
能,但要把”提在哪儿”说清楚。模型能力提升带来的收益,主要体现在”写得更快”;数据侧补课带来的收益,主要体现在”改得更少”。我观察下来,后者对总工时的贡献通常更大,而且衰减得慢。举个很小的例子:一个字段映射任务,模型三十秒就能生成,但字段名猜错,你要花二十分钟去排查和修正;如果元数据可查,模型三十秒生成的就是对的,省下来的正是那二十分钟。一天做十次这样的任务,差距就出来了。
再一个,评测集让改进变得可量化。很多团队做到一半会陷入自我怀疑——到底有没有变好?有了固定任务集和分数,这个问题就不用争了,跑一遍看数就行。可量化本身就是效率的一部分,因为它省掉了反复争论的成本。我的经验是,投入产出比最高的是先做元数据目录和核心指标口径,这两件事做扎实之后,后面每加一个新场景都能吃到红利。当然也得说清楚边界:模型能力太弱的年代,治理做得再好也白搭;但今天这个水平的模型,多数业务场景已经够用,瓶颈确实在供给这一侧。
问:中小团队预算有限,四条硬伤里先补哪一条最划算?
我会先补元数据这一条。原因很简单,它是其它三条的前置条件。口径要挂在表上,主数据要落到实体上,评测集要基于真实字段构造,全都离不开一份能查的元数据目录。没有它,后面三件事都在沙子上盖楼。
预算有限的时候,我一般建议中小团队三步走:先用两周把核心表的元数据摸清楚,用一套轻量的资产目录管起来,不用一上来就全量铺开;再把跨团队争议最大的五个指标口径定死,落到文档和系统里;然后针对最高频的 AI 使用场景,做五十条带标准答案的评测任务。这三件事加起来投入不大,但能让 AI 编程的效果立刻变得可感知。普元这边的产品可以按模块分阶段上,不必一次性买全套,先解决元数据和指标这两块,跑顺了再往下走。我见过不少团队反过来做,先买最贵的工具、最全的套餐,结果半年后没人用,反而更贵。
问:数据治理听起来是大工程,会不会拖慢研发节奏?
会占用一点时间,但和多数人想象的不是一个量级。关键在于把治理动作嵌进研发流程,而不是单独立一个项目、开一堆会。我的做法是能自动采集的一律不让人工填表,元数据靠平台自动扫,口径定义挂在已有的需求评审环节里一起过,评测集则由测试同学在回归用例上顺手扩一扩。
另外一点很重要:治理不是一次性的专项,而是日常动作的一部分。把它做成流程里的一个环节,就没人觉得它是额外负担;把它做成一个项目,它就一定会被业务进度挤掉。我在一些团队里看到比较健康的做法是,数据开发平台把规范沉淀进模板,新人一上手就按标准来,治理成本被摊薄到每一天。真实的情况是,前两个月确实会慢一点点,第三个月开始基本就反过来了——因为返工少了、扯皮少了、查问题快了。这笔账我建议按季度算,别按周算。
把注意力从模型挪回数据
聊到这里,我想把话收一收。AI 编程这件事,过去两年大家的注意力基本都在模型侧——谁家参数多、谁家补全准、谁家上下文长。这些当然重要,但我在一线看到的真实分水岭,几乎都出现在数据侧。模型是通用品,数据是你的私有品,能不能用好 AI,取决于你私有品的质量。这句话我在不同场合讲过很多次,每次讲完都有人点头,但真正动手做的还是少数。
如果你正准备推 AI 编程,我给一个不太一样的起手式:先别做工具选型,先花两周做一次自查。核心业务表的元数据能不能查到?跨团队争议最大的那几个指标口径有没有统一?客户、物料这些核心实体在系统间对不对得上?有没有一套能打分的高频任务集?这四个问题的答案,基本决定了你后面买什么、怎么推、能推多远。
顺序上再强调一遍:元数据先行,口径跟上,主数据收口,评测闭环,工具最后。这个顺序我在多个项目里验证过,反着来的基本都交了学费。普元这套易数产品线覆盖的正是这个顺序上的关键环节,从资产目录到主数据,从数据集构建到问数分析,链条还算完整。但工具只是工具,真正的功夫在于你愿不愿意正视”模型吃的是数据”这个朴素事实。想清楚这一点,效率提升是水到渠成的事;想不清楚,换多少代模型都还是在原地打转。
读者评论
张宇航:看完挺有共鸣。我们团队去年也是这样,工具换了三个,最后发现问题出在字段命名上,一半拼音一半英文,模型根本猜不准。今年上半年统一了命名规范,补全采纳率明显上来了。
李静雯:想问一下评测集那部分,两百条任务大概要投入多少人天?我们数据团队就三个人,怕撑不起来。
王振国:主数据这块说到点子上了。我们做制造的,物料编码不统一的时候,光是清洗逻辑就写了好几千行,后来统一了编码规则,代码量直接砍掉一大块。
陈晓萌:顺序那段我认同。我们就是先买了工具再想治理,结果前三个月基本白折腾,现在回头补元数据,反而更费劲。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
