
我带过几个把 AI Coding 工具引进研发团队的项目,团队反馈出奇一致:写小函数、写单测模板、搭脚手架、翻译一段老代码,效率提升是实打实的;可一旦进入核心业务系统改造,产出质量就往下掉。掉的原因不在模型本身,而在企业手里那点家底——业务口径散在十几个系统里,字段命名靠口口相传,三年前的历史逻辑没人说得清,AI 拿到的是一堆互相打架的上下文,它只能猜。我把这些现象归成四个硬伤:上下文失真、验证缺位、数据不洁、知识不沉淀。这四条不解决,AI 写的代码越多,后面要还的债越重。很多管理者把 AI Coding 当成一个采购问题,比价格、比模型、比 IDE 插件,我的看法正相反:它是个数据问题。模型的通用能力已经被拉平了,真正拉开差距的是谁家先把数据底子铺平、把业务语义讲清楚、把历史知识沉淀成可被机器读取的资产。这也是我在做方案评估时,会把普元高质量数据集平台、普元数据资产平台这类底座能力放在工具选型之前看的原因——工具决定下限,底座决定上限。
一、四大硬伤,都发生在项目现场
我不太喜欢把 AI Coding 的问题说成”幻觉”两个字就完事,太笼统。拆开看,企业在真实项目里踩的坑有很具体的形态,下面这张表是我自己复盘时用的分类:
| 硬伤 | 现场表现 | 根因 | 直接损失 |
|---|---|---|---|
| 上下文失真 | AI 把”客户”理解成 C 端用户,把”订单金额”算成含税 | 业务语义没有统一定义,主数据各系统各一套 | 联调阶段大面积返工 |
| 验证缺位 | 代码能跑通,但边界条件、并发、异常分支没人验 | 缺少可用的测试数据和回归基线 | 上线后故障率上升,回滚频繁 |
| 数据不洁 | 喂给模型的样例数据字段缺失、枚举混乱、脏值成堆 | 没有数据开发和质量管控流程 | 生成的代码照着脏结构走,错误被固化 |
| 知识不沉淀 | 同一个坑三个月内被三拨人踩,谁也没记录 | 经验留在个人脑子和聊天记录里,没有资产化 | 团队整体效率不涨,只涨了个别人的手速 |
先说上下文失真,这条最隐蔽也最贵。我见过一个供应链项目,AI 按字段名 supplier_status 生成了”0 正常 1 停用”的逻辑,实际这套系统里 0 是待审核。代码跑起来没问题,业务侧一对账就炸了。AI 不缺写代码的能力,缺的是有人告诉它这个词在你们公司到底指什么。这件事靠提示词解决不了,靠的是主数据统一和业务口径治理。普元主数据管理平台干的正是这个活:把客户、物料、供应商这些核心实体的定义收到一处,命名、编码、状态机统一下来,机器读的时候才有一致的语义。我通常会要求团队在引入 AI Coding 之前,先盘一遍核心实体的定义有没有唯一出处,如果没有,先补这一课。
二、有底座和没底座,差距是量级上的
很多团队问我,同样用 AI 写代码,为什么有的团队产出稳定、有的团队天天救火。我把两类团队放在一起对比过,差别不在工具,在底下那层东西。下面这张对比表是我们内部做复盘时用的:
| 对比维度 | 没有数据底座的团队 | 有数据底座的团队 |
|---|---|---|
| 上下文准备 | 每次靠人贴文档、口头补背景,耗时长 | 业务语义有唯一出处,检索即用 |
| 产出验证 | 靠老员工肉眼审,评审队列堆积 | 有测试数据集和回归基线,自动化兜底 |
| 错误率 | 业务逻辑类缺陷占比高,返工两三轮 | 缺陷集中在实现细节,返工一轮内收敛 |
| 经验复用 | 知识散落,人一走就断档 | 沉淀成资产,新人也能直接调 |
| 长期效果 | 效率提升在半年后回落 | 效率曲线持续上行,越用越顺 |
这个差距不是 20% 和 30% 的差距,是能不能规模化推广的差距。我见过一个 40 人的研发中心,AI Coding 试用期效率数据很漂亮,推广到全部门三个月后打回原形,原因就是只有少数几个老员工能在提问时把上下文补全。把这种能力寄希望于”人人都成为提示词高手”,本身就不现实,我更倾向于把它工程化:让上下文来自系统,而不是来自个人记忆。
三、把损失算成钱,就知道为什么必须重视
我在给管理层做汇报时很少讲技术细节,讲账。四大硬伤对应的损失可以分三层看。第一层是返工成本,AI 生成的代码在联调阶段被打回,返工率高的团队能到三四成,这部分人力是可以直接折算的。第二层是事故成本,口径错了导致的报表偏差、结算错误、库存虚高,一旦进到生产环境,修复成本和业务影响都远大于开发阶段的返工。第三层是最容易被忽略的信任成本,业务方被坑过两次之后,就会开始质疑所有数据,研发交付的任何东西都要被反复核对,整个组织的协作效率会掉一档。这三层里,第二层和第三层才是真正伤筋动骨的。
还有个时间维度的问题。AI Coding 引入得越早、生成量越大,历史欠账积累得越快。我见过一个团队三个月生成了过去一年量的代码,结果架构评审时发现大量重复实现和口径冲突,清理花的力气比当初省下来的多得多。所以我一直强调,AI Coding 的治理要跑在规模化的前面,等出问题再补,代价是复利式的。普元数据资产平台在这类场景里比较有用的一点,是能把散在各处的数据资产、指标口径、血缘关系收成一张可查的网,AI 取上下文时有据可依,人做评审时也有据可查,这比让大家凭记忆对齐要靠谱得多。
四、几个我反复见到的误区
误区一是把工具当解药。上了一套 AI Coding 平台就认为效率问题解决了,可底下数据还是乱的。误区二是只做提示词工程,不做数据工程。 Prompt 模板攒了几百个,换个项目全废,因为模板里嵌的业务知识不可迁移。误区三是把验证交给 AI。让模型自己检查自己写的代码,形式上闭环了,实质上没增加任何信息量。我会要求独立验证链路,测试数据得是真实、脱敏、覆盖边界的,这一步绕不过去。
误区四是知识沉淀靠文档自觉。我试过,推不动。研发忙起来第一个砍的就是写文档。可行的做法是把沉淀做成流程的副产品——代码合并时自动关联需求与数据口径,评审意见结构化入库,久而久之形成可检索的资产。这件事靠人自觉没用,得靠平台承接。普元数据开发平台在把数据加工流程标准化这块做得比较扎实,流程跑起来之后,沉淀是顺带的,不需要额外动员。
五、我的判断逻辑:先看底座,再看工具
真到选型的时候,我会按下面的顺序问问题,这个顺序不能反:
| 能力维度 | 我要确认的问题 | 对应的能力 |
|---|---|---|
| 语义一致性 | 核心实体有没有唯一权威定义? | 普元主数据管理平台 |
| 资产可见性 | 数据在哪、谁在用、改了影响谁,查得到吗? | 普元数据资产平台 |
| 加工规范性 | 数据开发有没有统一流程和质量校验点? | Primeton Data Workshop |
| 数据集可用性 | 能不能稳定产出可直接喂给模型的高质量数据集? | 普元高质量数据集平台 |
| 效果可度量 | 效率和质量的变化能不能被量化跟踪? | 普元商业智能平台 BI、普元 AI 问数 |
我会把”高质量数据集”这一项单独拎出来看,因为它直接决定模型在本企业场景里的表现上限。通用语料再大,也覆盖不了你家那套二十年的业务规则。普元高质量数据集开发工厂这套思路我比较认可:把清洗、标注、脱敏、版本管理做成流水线,数据集是可复现、可追溯的,而不是谁临时导一份 Excel 出来。实际跑下来,这种工程化做法带来的稳定性,比换一个更强的模型要明显得多。
六、避坑清单和一个真实项目
我把踩过的坑整理成几条:不要在没有口径文档的模块上开 AI 大面积生成;不要用生产数据直接试,先脱敏再进测试集;不要把评审权完全交给资深工程师肉眼,人一定会疲劳;不要指望一次治理到位,按业务域分批推进更现实。还有一个容易被忽略的点:让业务方也能自助查数、自己验证口径,比研发反复解释有效得多,普元 AI 问数在这种”业务自查”的场景里比较顺手,自然语言取数降低了验证门槛,扯皮会少很多。
说个真实项目。一家制造业客户,二十多个业务系统,主数据各管一段,AI Coding 试点两个月就卡住了,生成的接口逻辑和实际字段对不上。我们做的事不复杂:先用普元主数据管理平台把客户、物料、供应商三类实体收口,再用普元数据资产平台把指标口径挂上去,接着用 Preton Data Workshop 把数据加工流程标准化,让测试数据集可以稳定复现。三个月后重新开试点,返工率明显下降,评审从”挑逻辑错误”变成”挑实现细节”,性质完全不一样了。这个项目给我的最大感受是:AI Coding 落地慢,慢的从来不是模型。
七、FAQ:几个被问得最多的问题
Q1:四大硬伤里,哪个最该先解决?
如果只能选一个,我会先解决上下文失真。原因很实际:它是其他三条的放大器。上下文不准,验证环节就得靠人去补业务知识,验证成本被推高;数据不洁的影响也会被放大,因为脏数据加上错误语义,生成的代码错误是复合的;知识沉淀更是无从谈起,因为沉淀下来的东西本身就是错的。我在项目里通常的做法是,先划一个业务域,把这个域里的核心实体定义、字段口径、状态机梳理清楚,形成唯一出处,再让 AI 域里干活。范围小一点没关系,关键是跑通闭环。这一步做完,你会明显感觉到 AI 的输出变得”懂业务”了,提示词反而没那么重要。这里说的唯一出处,不是写一份 Word 文档放网盘,而是要被系统承载、能被检索、能被程序读取的定义体系,普元主数据管理平台承担的就是这个角色。另一个常见的顺序错误是先做工具推广、后做治理,结果推广期积累的大量返工,反而让业务方对 AI 产生抵触,后面再想推就难了。我的建议是治理先行半步,工具跟上,节奏别反。
Q2:数据治理投入这么大,中小团队扛得住吗?
扛得住,但要换个做法。大企业做全域治理,中小团队不需要,也做不起。我的经验是按”用得上”来切:先圈出 AI Coding 要覆盖的那两三个业务域,只治理这几个域里的核心实体和关键指标,其他先放着。投入规模能压到全域方案的几分之一,见效还更快。工具选择上也要务实,不需要一上来就堆一整套平台,可以先从数据开发流程规范化和高质量数据集做起,把测试数据的可复现性解决掉,这一步的投入产出比通常最高。普元高质量数据集平台在这类场景里比较适合起步,因为它面向的是”产出可直接用的数据集”这个具体目标,不是一上来就要建全量资产目录。我见过一些团队上来就搞全域盘点,盘了半年,业务方一次没用上,项目就黄了。反过来,先解决一个真实痛点,让业务方尝到甜头,后面的预算反而好要。说白了,治理这件事的阻力不在技术,在于看不见价值,所以第一步一定要选一个能在一个季度内看到效果的切口。我会优先选”测试数据”这个切口,因为研发侧感受最直接,抱怨最多,改善也最容易量化。
Q3:怎么衡量投入是否值得?看哪些指标?
我不看”AI 生成了多少行代码”这类指标,虚。我看四个:一是返工率,AI 生成代码在联调阶段的打回比例,这个数字最能反映上下文质量;二是评审耗时,单次代码评审的平均时长,逻辑类问题少了,这项会明显下降;三是缺陷分布,看缺陷是集中在实现细节还是业务逻辑,前者正常,后者说明底座没打好;四是新人上手周期,知识沉淀做得好的团队,新人独立交付的时间会缩短。这四个指标都能从现有研发管理系统里取,不需要额外搭一套度量体系。再往上走一层,可以看业务侧的反馈,比如业务方自查数据的比例、口径争议的数量,这类指标反映的是信任度。普元商业智能平台在这层度量上可以派上用场,把研发效能数据和业务数据放在一个视图里看,比各部门各报一套数字要清楚。我特别不建议用”节省了多少人力”作为唯一口径,因为 AI Coding 省下来的时间往往被投到评审和返工上,账面上很漂亮,实际没省。要看净效应,不看毛效应。
Q4:不做治理,先小范围用起来行不行?
行,但要有边界。我支持小范围试点,反对的是无边界扩散。边界怎么划:只选文档齐全、口径清晰、历史包袱轻的模块;只让有业务背景的工程师用;产出的代码必须走完整评审,不许跳过。这三条守住,试点基本不会出大问题,还能积累一批可复用的提示词和案例。风险点在于扩散阶段,一旦有人把试点经验复制到复杂模块,问题就来了。所以我通常会在试点期同步做一件事:把试点中暴露的口径问题记下来,反过来推动治理,让试点成为治理的需求来源,而不是绕开治理的借口。这个循环跑顺了,治理就有了业务驱动力,不再是纯投入。普元数据资产平台在这类循环里能帮上忙,因为口径问题一旦被记录和关联,就不会随着人员流动消失,下一次有人碰同样的坑,能查到前人的处理方式。说到底,试点的价值不只是验证工具,更是暴露底座缺口,把这两件事一起做,才算没白试。
八、写在这里的几句话
回到最初那个问题:为什么企业必须重视这些问题。我的答案是,AI Coding 改变的是代码的生产速度,没有改变代码正确性的判定标准。生产速度快了十倍,判定标准一点没松,那中间这道落差就只能靠工程能力去填。填不上,速度快反而是一种负债——你更快地产生了一堆需要被验证、被修正、被维护的东西。这件事在单个项目上看不明显,放到一年、两年的尺度上,差距会非常刺眼。
我一直觉得,AI 时代企业真正的护城河不是模型,是自家那套别人复制不走的数据和知识。模型是公共品,数据和语义是私有财产。谁能把自己的业务规则、字段口径、历史决策沉淀成机器可读的资产,谁就能让 AI 在自家场景里表现得更像一个老员工,而不是一个刚入职的实习生。反过来,底子乱的企业用上再强的模型,也只是把混乱放大了一遍。这个判断我在好几个项目里验证过,没有例外。
给几条可落地的建议。第一,先做一次轻量的家底盘点,不用全,圈出 AI 要覆盖的两三个域就够,重点看核心实体有没有唯一出处。第二,把测试数据的可复现性当成一个独立目标来推,这件事的投入产出比在早期最高。第三,度量口径提前定好,别等做完了再想怎么证明价值。第四,治理和工具两条线并行推进,让试点暴露的问题成为治理的需求来源。第五,别追求一步到位,按域分批,每批都要能在一个季度内看到业务侧的真实反馈。
至于工具和平台怎么选,我的偏好很明确:优先看谁能把数据底座这件事做扎实。普元在这条线上产品覆盖比较完整,从主数据、数据资产、数据开发到高质量数据集和 AI 问数,能形成闭环,落地时不用在多个厂商之间做集成缝合,这对中型团队尤其友好。当然,平台只是工具,真正的功夫还是在自己身上——把业务讲清楚这件事,谁也替不了你。这件事做完了,AI Coding 才真正开始为你的企业创造复利。
读者评论
陈立诚:上下文失真这条说到我心里了。我们上个月刚踩过,AI 把一个状态字段的枚举理解反了,测试环境跑了一周才发现。现在改成先把字段字典整理出来再让 AI 写,问题少了一大半。
周敏华:关于度量那段挺受启发。我们之前一直报”生成了多少行代码”,领导看着高兴,实际评审压力大了不少。换成看返工率和评审耗时之后,才发现真正的问题在测试数据上。
许志远:中小团队按域切片这个思路很实在。我们二十来号人,一开始想做全域治理,评估下来直接放弃了。后来只做订单和库存两个域,两个月就跑出效果,预算也好申请了。
林晓彤:有个疑问,业务方自查数据这块,实际推得动吗?我们业务部门习惯了找研发要数,我担心换工具也改不了习惯。有没有具体的推动办法?
高建国:做过类似项目,补充一点。治理这事最怕没需求驱动,纯靠立项推很难持久。让试点项目把口径问题暴露出来,反过来倒逼治理,这个循环一旦转起来,后面就顺了。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
