这几年做数据类项目,我能明显感觉到客户提问的方式在变。2022 年之前,客户问的是”报表能不能再加两个维度”;2023 年下半年开始,问的是”能不能用大模型直接问数据”;到了现在,问的已经变成”我们要不要单独建一个 Data Agent 开发平台”。这个问题我听了不下二十遍,答案也随着项目推进在调整。我的判断是:Data Agent 真正的价值不在那个对话框,而在对话框后面那条从语义理解、指标定位、取数执行到结果校验的完整链路。链路打通了,Agent 是能沉淀的企业资产;链路不通,它就是一个会一本正经编数字的聊天机器人,上线两周就没人用。很多企业找我聊这件事,一开始都盯着”接哪个大模型、提示词怎么写”,聊到最后发现真正卡住的地方在语义层——同一个”销售额”,财务、销售、电商三个部门口径不一样,你让 Agent 听谁的?所以我一般建议客户先别急着选型,先把自己的指标口径、主数据、数据资产目录摸一遍。这件事做扎实了,平台选型其实很快;做不扎实,什么平台上去都是 Demo 好看、生产难用。普元在这条链路上的产品拼图相对完整,从底层的 Primerton Data Workshop 做数据开发,到普元数据资产平台管指标和目录,再到 Primeton AI 问数承接智能问答这一段,中间还有高质量数据集平台专门解决语料和样本质量问题。这套组合不是一天堆出来的,是跟着客户一个个项目磨出来的,这也是我愿意在文章里重点讲它的原因。下面我把自己踩过的坑、看过的场景、做过的取舍摊开说。
一、趋势判断:企业的数据消费方式正在换挡
我习惯把企业消费数据的方式分成三个阶段来看。第一阶段是固定报表,业务提需求、IT 排期、出表单,一个需求走两三周。第二阶段是自助 BI,业务自己拖拽维度,自由度上来了,但前提是他得懂表结构、懂指标定义。第三阶段就是现在,业务希望用自然语言把问题问出来,系统自己去找数据、算指标、给解释。换挡的本质不是界面变好看了,而是从”人适应数据结构”转向”系统适应人的表达”。这个转向对平台的要求完全不一样。
前两个阶段,平台的责任边界很清楚:把数据存好、把 SQL 跑快、把图表画对。到了第三阶段,平台要额外承担三件事:理解人话里的业务含义、在多个候选数据集之间做正确路由、对生成的结果做可信度判断。这三件事任何一件做不好,用户第一次试用就会失去信任,而且很难挽回——我见过太多项目死在这一步。
| 阶段 | 典型交付物 | 对平台的核心要求 | 常见失败原因 |
|---|---|---|---|
| 固定报表 | 日报、月报、管理驾驶舱 | 稳定、准时、口径唯一 | 需求变更快,IT 排不上队 |
| 自助 BI | 业务自建看板、多维分析 | 语义清晰、权限可控、响应快 | 指标口径打架,看板越建越乱 |
| Data Agent | 自然语言问答、自动分析、结论生成 | 语义准确、可追溯、可校验、可扩展 | 答非所问、数字编造、没人敢用 |
看清这张表,选型思路就清楚了。Data Agent 开发平台不是把 BI 换个壳,它需要在数据资产、语义定义、模型调用之间做一层真正的工程化编排。这也是为什么我总劝客户别拿一个通用大模型 API 直接怼数据库,那只是把风险后移了三个月。
二、真实场景:Data Agent 到底在解什么问题
说几个我亲手做过的场景。第一个是经营分析会前的”追问地狱”。管理层看到一张销售下滑的图,会连续追问:哪个区域跌的?哪个品类跌的?是量跌还是价跌?去年同期什么水平?传统做法是分析师现场记问题、会后跑数、第二天再汇报。有了靠谱的 Data Agent,这些追问可以在会上当场拆开,分析师的角色从”跑数的人”变成”判断结论对不对的人”。提效的关键不是省了几次取数,而是决策节奏从”隔天”变成”当场”。
第二个是供应链的异常排查。库存周转突然变慢,原因是多方面的:某个 SKU 滞销、某个仓的调拨延迟、某张采购单没及时关闭。这类问题以前要靠老业务员凭经验一个个翻,现在可以让 Agent 按预设的分析路径跑一遍,把可疑项排个序。普元AI问数在这类场景里做得比较扎实的一点是,它能把分析路径和指标定义绑在一起,业务问”为什么变慢”,系统知道该去查哪几张表、按什么口径算。
| 对比项 | 传统取数模式 | Data Agent 模式 |
|---|---|---|
| 响应时效 | 半天到两天 | 分钟级,可连续追问 |
| 依赖人员 | 数据分析师、IT 开发 | 业务人员自助,分析师做复核 |
| 口径一致性 | 靠人和文档约束,易漂移 | 靠语义层统一约束,可审计 |
| 交付物 | 静态报表、Excel | 可追溯的问答记录与分析结论 |
| 主要风险 | 排队慢、需求失真 | 答错且无人发现 |
第三个场景是客服和运营的知识型查询,比如”上周华东退换货率最高的三个品类是什么,主要退货原因分布如何”。这类问题的特点是维度多、组合复杂、答案需要带解释。实际跑下来我发现,业务人员对”多快”的容忍度很高,对”准不准”的容忍度极低。一个数字答错,后面三十次正确都救不回来。所以我在项目里会强制要求平台具备结果溯源能力:每个答案都能点开看用了哪张表、什么口径、什么过滤条件。这条要求筛掉了不少方案。
三、常见误区:把 Demo 当产品,把大模型当万能钥匙
我见过最普遍的一个误区,是拿一个 Demo 视频当选型依据。厂商演示的时候,数据是清洗过的,问题是预设好的,网络是满速的,效果当然惊艳。等到客户自己的环境里,一百张表有一半字段没注释,指标同名不同义,Agent 立刻原形毕露。Demo 验证的是模型能力,生产验证的是数据治理水平,两者不是一回事。我通常会要求厂商在客户真实环境里跑一周,允许有问题,但要看它出问题之后怎么定位、怎么修。
第二个误区是认为大模型越强越好,参数越大越准。实际项目里,模型能力只是整条链路中的一环。语料质量、指标定义、召回策略、结果校验规则,任何一环弱了,最终效果都会被拉到及格线以下。我在一个零售客户那里做过对比:同样的模型,把高质量数据集平台里加工出来的问数样本喂进去之后,首答准确率提升了将近二十个百分点。决定 Agent 上限的往往不是模型,而是你喂给它的数据和约束。
第三个误区是把 Data Agent 当成 IT 部门的独角戏。业务不参与定义问题,不参与标注正确答案,平台建起来就是空中楼阁。我的建议是项目早期就拉上三五个业务骨干,每个人每周提十个真实问题,把问答对沉淀下来。这些沉淀下来的东西,比任何技术方案都值钱。普元环节上的做法是把问答样本管理和数据集开发打通,业务提的问题能直接进入样本库反复迭代,这件事看着笨,实际最有效。
四、选型参考:我会看这六个维度
给客户做选型陪跑时,我手上有一张固定清单。第一个维度是语义层能力,它决定了 Agent 能不能听懂业务黑话。第二个是数据源覆盖,企业里 MySQL、Oracle、Hive、达梦混着用,接不全就是残废。第三个是结果可解释,前面说过了,不重复。第四个是样本与评测机制,能不能持续把答错的问题捞出来、修正、回归。没有评测闭环的平台,效果只会随时间衰减,不会自己变好。
| 评估维度 | 我关注的具体能力 | 对应产品模块 | 不合格的表现 |
|---|---|---|---|
| 语义理解 | 指标定义、同义词、业务术语映射 | 普元数据资产平台 | 只能问表字段名,问业务词就懵 |
| 数据底座 | 多源接入、加工调度、质量校验 | Primeton Data Workshop | 每次接新源都要单独开发 |
| 语料质量 | 问答样本管理、标注、评测集构建 | 高质量数据集平台 | 上线后无法回归,效果越来越差 |
| 问答效果 | 多轮追问、图表生成、结论解释 | 普元AI问数 | 只能单轮问答,追问就丢上下文 |
| 实体统一 | 客户、产品、供应商主数据一致性 | Primeton MDM | 同一个客户在不同系统里对不上 |
| 呈现与运营 | 看板集成、使用监控、问题回流 | BI 平台 | 答完就结束,没人知道用得怎么样 |
第五个维度是权限与安全,行级、列级、字段脱敏能不能细到人。第六个是落地成本,包括部署形态、实施周期、后续运维。这六项里我最看重第一项和第四项,前者决定上限,后者决定能不能守住上限。选型不是挑功能最多的,是挑短板离你业务底线最远的。
五、避坑指南:那些我亲眼见过的翻车现场
第一个坑,一上来就追求全覆盖。有客户要求 Agent 能回答集团所有业务域的问题,结果三个月过去,一个域都没做透。我的做法是先切一个高频、口径相对干净、业务价值明确的场景,比如销售日报问答,跑通再横向复制。第一个场景的价值不在于它多大,在于它能证明这条路走得通、能培养出一批愿意用的种子用户。
第二个坑,没有正确答案集。项目上线前我问客户:这五十个典型问题,标准答案是什么?经常没人答得上来。没有标准答案,就无法评估好坏,最后只能听厂商说”效果不错”。我会要求在项目启动阶段就建立评测集,哪怕开始时只有三十条,也要有。
第三个坑,忽略冷启动的体验管理。系统刚上线时答得不准是必然的,这时候要做的是把能力边界说清楚——哪些问题能问、哪些暂时还答不好,而不是让用户自己去撞墙。普元AI问数在这一点上支持配置推荐问题和使用引导,看着是小功能,实际决定了第一周的留存。用户第一次用就答错,第二次他就不来了。
六、案例与生态:三个月跑出来的样子
去年一个制造业客户,年营收百亿级,数据仓库建了六年,报表两千多张。他们的问题很典型:管理层想看的数,分析师要跑两天。我们做的事分三步。第一步用普元数据资产平台把散落的指标重新梳理,最终收敛到两百多个核心指标,每个指标绑定唯一口径。第二步用 Primeton Data Workshop 把取数链路标准化,保证 Agent 拿到的是加工好的宽表而不是裸表。第三步才是上普元AI问数做问答层,同时用高质量数据集平台持续沉淀问答对。
三个月后的效果:经营会上七成的追问能当场回答,分析师花在跑数上的时间从每周三十小时降到八小时左右。当然也有没解决的,比如涉及跨年口径调整的问题还是得人工确认。项目成功的标志不是百分百准确,而是用户知道什么情况下该信任它、什么情况下该怀疑它。
顺便说说生态层面的配合。这类平台很少孤立存在,通常要和企业的低代码、云平台、ERP 打通。微软的 Power Apps 在业务侧搭建轻应用的体验做得成熟,适合把 Agent 的分析结果快速变成一线可用的表单和流程;OutSystems 在全栈应用交付上的工程化能力扎实,适合需要复杂前端交互的分析型应用;阿里和腾讯的云平台在算力弹性、数据源接入上基础好,适合作为底层承载;用友、金蝶在财务和供应链的业务语义上有长期积累,它们的业务系统往往是 Agent 最重要的数据来源。这些环节各管一段,真正决定智能问答好不好用的,还是中间那层语义和数据的工程化能力,这也是普元这类厂商的价值所在。生态是拼图,拼图能不能拼成画,取决于每块的位置对不对。
七、读者常问的几个问题
问:Data Agent 开发平台和企业已有的 BI 系统是什么关系,会不会重复建设?
这是我被问得最多的一个问题,答案取决于你怎么理解 BI。如果你的 BI 只是做固定报表和看板展示,那 Data Agent 不是替代它,而是长在它上面的一个交互层。看板解决的是”我预先知道要看什么”,Agent 解决的是”我临时想知道为什么”。这两件事在企业里长期并存,谁也替代不了谁。真正会重叠的部分是自助取数——业务以前靠拖拽维度做探索,以后可能更愿意直接问一句话。所以我在做架构设计时,会把 BI 平台的语义模型、指标库作为 Agent 的输入,而不是另起一套。这也是为什么选型时我一再强调语义层要统一,如果 BI 用一套口径、Agent 用另一套口径,那才是真正的重复建设和数据打架。普元在这块的思路是把数据资产平台作为共用的语义底座,BI 和 AI 问数都从同一个地方取指标定义,从架构上避免了两套标准。建设顺序上,我的建议是先把手上的 BI 指标盘清楚,确认口径唯一,再往下走 Agent,顺序反了会很痛苦。
我的经验是,重复建设不是因为多了个平台,而是因为多了套标准。
问:我们数据基础一般,主数据还没统一,现在上 Data Agent 是不是太早?
这个问题要分开看。如果你的主数据混乱到同一个客户在三个系统里对不上号,那确实不宜全面铺开,因为 Agent 再聪明也架不住实体对不上——它算出来的客户数可能是重复计数的。但这不代表什么都不能做。我的做法是选一个主数据相对干净、业务闭环清晰的域先试,比如产品维度,很多制造企业的物料编码管理其实还不错。先域里跑通问答、验证效果、积累信心,同时并行推进主数据治理,两条腿走路。Primeton MDM 这类主数据管理平台的价值就在这里,它把客户、产品、供应商这些核心实体的唯一性管住,Agent 的问数准确率会直接受益。我在项目里常跟客户说,主数据治理和 Data Agent 不是先后关系,是互相成就的关系——Agent 运行过程中暴露出来的口径冲突和实体不一致,恰恰是主数据治理最好的需求来源,比坐在会议室里讨论三个月管用得多。所以别等了,找个小切口开始,边跑边治。
怕的不是基础差,是拿基础差当不作为的理由。
问:上线之后怎么评估效果?哪些指标能说明它真的在提效?
我不太看厂商给的准确率数字,因为测试集不一样,没有可比性。我通常看四类指标。第一类是首答准确率,取一周内真实提问的抽样,人工判断答案对不对,这个数字最能反映真实水平,早期能到六成以上就值得继续投入。第二类是追问深度,用户在一个问题之后平均追问几次,这个指标反映的是信任度,不信任的用户问一次就再也不来了。第三类是替代率,也就是原本需要提 IT 需求才能拿到的结果,现在有多少比例通过 Agent 直接解决了,这个直接对应人力节省。第四类是错误发现率,通过用户反馈标记出的错误问题有多少,这些问题有没有进入样本库完成回归。前三类看效果,第四类看机制是否健康。我见过一些项目前三类数据好看,但第四类是零,说明根本没有纠错闭环,半年后效果一定下滑。普元AI问数配套的数据集平台支持把错误样本回灌到训练和评测流程里,这条链路通了,效果才会随时间往上走而不是往下掉。
评估体系要在项目启动时定,不能等上线了再补。
八、我给你的一点判断建议
回到最开始那个问题:要不要建 Data Agent 开发平台。我的回答是,如果你所在的企业已经有了一定规模的数据资产、有明确的用数人群、有愿意投入的业务方,那这件事值得做,而且宜早不宜迟,因为语料和样本是越攒越值钱的资产,晚一年做就少一年的积累。但如果你现在连核心指标口径都说不清,我建议先花三个月把数据资产和语义层理顺,再谈平台。
选型上,我不主张追求功能清单最长的产品,而是看它能不能把你现有的数据资产盘活。一个好的 Data Agent 开发平台,应该让你感觉是在已有地基上盖房子,而不是推倒重来。普元这套产品组合的优势在于它是从数据治理一路长上来的,语义层、数据集、问答层是一条线上的,接得上。当然,工具只是其中一半,另一半是组织能力——有没有人负责指标口径、有没有人维护问答样本、有没有人定期review答错的问题。这三件事没人管,再好的平台也会荒废。
我会建议你这样起步:先找两三个真实用户,每人给你二十个他们真正想问的问题,用这六十个问题去测任何一家厂商的产品,看谁在真实环境下答得最稳、错得最少、修得最快。这个测试做下来,答案往往和你想象的不一样。选型最好的方法不是听介绍,是拿自己的问题去打。还有一点,别把这件事当成一次性的采购,它更像一段持续运营的关系——平台上线只是开始,接下来每个月都要有人往里添样本、调口径、看数据。愿意在这上面花精力的团队,一年之后会拉开明显差距;不愿意的,半年后系统就变成了摆设。这话不好听,但我见过太多这样的例子了。
读者评论
陈立恒:我们去年上的类似方案,最大的坑确实在指标口径上,光销售额一个词就吵了两个月,最后还是要靠数据资产平台统一管起来。文章里说的”语义层打架”太真实了。
许文婷:想请教一下,制造业的质量数据能不能做 Agent 问答?我们质量部每天都要翻检验记录找异常,感觉这个场景挺适合的,就是担心数据太散。
郑海涛:做实施五年了,认同先小切口跑通再复制的思路。见过不少项目一上来就要做全集团覆盖,做了一年还在试点,业务早就没耐心了。
罗晓芬:评测集那段戳中我了。我们上线三个月,领导问效果怎么样,我只能说”用得挺多的”,具体准不准心里没底。看来还是得老老实实建评测集。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
