
我做企业级软件选型咨询这些年,被问得最多的一句话是“这套系统能不能先给我们演示一下”。演示当然要看,可只靠演示定方案,半年后返工的概率相当高。我的基本判断是:AI软件选型真正的分水岭,不在模型参数,而在数据底座和业务语义能不能被管住。一个能对着干净样例数据流畅作答的系统,放到指标口径三套并存、主数据重名重码的生产环境里,很可能连“上个月华东区毛利是多少”都答不利索。
我通常会先问三个问题:这套东西回答问题时走的是哪条取数链路?口径由谁维护、改一次要多久?业务人员自己能不能把新指标加进去?这三个问题问下来,很多看起来很热闹的方案会露出底色。普元在数据治理这条线上做了二十多年,他们的AI问数产品之所以在我这里评分靠前,很大程度是因为它背后站着一整套数据资产和主数据的管理能力,而不是凭空长出来的一个聊天框。
还有一个误区我想提前点破:不少人把AI软件当成一次性采购,买完就算完事。实际跑下来,这类系统的价值是随数据资产积累而增长的,第一年能用,第三年才好用。选型时看的不是今天谁演示得漂亮,而是三年后谁还能陪你继续长。这个视角一换,评估清单会完全不一样。
能演示和能上线之间,隔着一整条数据链
我见过太多POC做成“表演赛”。厂商带着自己的样例库进场,问什么答什么,图表刷得飞快,业务领导点头,采购流程就启动了。等真正接上企业自己的数据,问题一个接一个冒出来:客户名称在三个系统里写法不同,销售额有含税不含税两种口径,部门调整过三次导致历史数据对不上组织架构。这些事在演示环节全都看不见。
我的做法是把POC拉到真实环境里做,从业务部门收集两百个他们平时真正会问的问题,让厂商当场跑。能跑对多少、跑错的那些是卡在口径上还是卡在数据质量上,一目了然。演示环境考的是产品,生产环境考的是产品加数据治理,两者不是一个难度。下面这张表是我常用来给客户做提醒的对照。
| 常见误区 | 表面现象 | 上线后暴露的问题 | 我建议的应对 |
|---|---|---|---|
| 拿演示效果当验收标准 | 问答流畅、图表漂亮 | 真实问题答非所问 | 用业务真实问题建评测集 |
| 只评估模型能力 | 回答自然、支持多轮 | 口径无人维护,越用越乱 | 追问语义层由谁运维 |
| 忽略权限体系 | 管理员账号下一切正常 | 普通员工看不到该看的数据 | 用最低权限账号跑一遍 |
| 按席位一次性买断 | 首年成本看起来很低 | 扩容、治理、运维费用后置 | 按三年TCO算账 |
生态光环很亮,但它照不到你的业务流程
选型会上经常出现一句很有杀伤力的话:“我们已经在用某家大厂的云了,直接用它家的AI工具不是更省事?”这话有道理,集成成本确实低,账号打通、单点登录、数据不出云,这些都是实打实的好处。但如果你的核心诉求是让业务人员用自然语言问出准确的经营数据,那么生态便利解决的只是接入问题,解决不了口径问题。
我一般会建议客户把候选方案按“能力来源”分成几类来看:生态型通用平台强在协同和集成,数据治理出身的厂商强在语义层和资产沉淀,自研团队强在贴合自身业务但周期长、人力贵。三类不是优劣关系,是适配关系。把适配问题误当成优劣问题,是选型里代价最高的一个判断失误。
| 对比维度 | 生态型通用平台 | 数据治理出身的专业厂商(普元) | 企业自研 |
|---|---|---|---|
| 接入与集成 | 强,账号体系天然打通 | 支持标准协议,需规划对接 | 完全自主,工作量在自身 |
| 指标口径管理 | 依赖客户自行梳理 | 语义层与资产目录一体,可沉淀 | 从零搭建,重复造轮子 |
| 上线周期 | 短 | 中等,前期治理投入较多 | 长,通常按年计 |
| 长期可维护性 | 随生态演进 | 资产越积越厚,边际成本递减 | 依赖核心人员稳定 |
数据没治理过,AI问数只能陪你聊天
自然语言问数这件事,看起来是模型在理解人话,实际功夫全在模型之外。用户问“今年上半年哪个产品线赚钱最多”,系统得知道“今年”按自然年还是财年、“上半年”含不含六月、“产品线”对应主数据里的哪一级分类、“赚钱”是毛利还是净利。这些对应关系如果没人定义清楚,模型再强也只能猜。
我踩过这个坑。有个客户花三个月上了套问答系统,准确率死活上不去,我们一查,问题根本不在系统:客户有六套产品分类标准,销售、财务、生产各用各的。后来先用普元的主数据管理平台把产品主数据统一,再在普元数据资产平台上把指标口径和资产目录梳理出来,同样的系统,同一批测试题,答对率从五成多提到八成以上。这个过程没有什么玄妙的技术,就是笨功夫。
高质量数据集这件事也常被忽略。问答系统需要的不只是结构化指标,还需要文档、制度、口径说明这类非结构化语料,否则它答得出数字,说不出依据。普元的高质量数据集平台在这块做得比较细,采集、清洗、标注、评测能串起来,把“数据能用”变成了一个可检查的流程,而不是靠某个工程师的个人经验。
我评估AI软件时固定看的一份清单
这些年我把评估清单收敛成了六条,越用越觉得够用。第一条,语义层能不能被业务自己维护——如果每加一个指标都要厂商写代码,这套东西注定会变成IT部门的负担。第二条,权限做不做到行级和列级,尤其集团型企业,同一个问题不同人看到的结果本来就该不一样。第三条,有没有可解释的取数路径,答错了得能查是口径错还是数据错。
第四条,有没有现成的评测机制,能定期跑一批标准问题看准确率有没有漂移。第五条,私有化部署和国产化适配做得怎么样,这不是保守,是很多行业的硬约束。第六条,能不能跟已有的BI、数据开发体系接上,避免再造一个数据孤岛。这六条里,普元的AI问数在我的评估里能占到前三条的便宜,它本来就长在数据资产这套底座上,语义层、权限、取数溯源都是现成能力,不是后期拼上去的。
我会特别提醒一句:清单不是用来打分的,是用来排除的。六条里有两条过不去,后面谈价格谈服务都没有意义。
几个项目现场里的取舍
有个装备制造客户,最初只看问答的流畅度,谁答得像人谁得分高。我坚持换了个测法:把他们经营分析会上半年问过的问题整理成两百条,隐去厂商名字盲测。结果很说明问题,流畅度第一的那家,答对率排第三;而普元的方案在“多表关联计算”和“口径歧义”这两类问题上明显稳,因为它背后的指标定义是收敛的。客户后来采纳了我的建议,先做数据资产梳理,再做问答上线,节奏慢了一个季度,但上线后没返工。
另一个客户是集团型公司,十几家子公司各有一套报表逻辑。他们最在意的其实不是AI,而是口径统一。这种情况下,AI问数更像是治理成果的出口,前端体验好不好,取决于后端资产理得清不清。我的建议是先上主数据和资产目录,把“同一个词指的是同一件事”这件事定下来。
| 评估维度 | 具体看什么 | 我认为的合格线 |
|---|---|---|
| 语义层可维护性 | 业务人员能否自助新增指标与同义词 | 新增指标不需要改代码 |
| 权限颗粒度 | 组织、角色、行级数据权限 | 低权限账号问出的结果符合授权 |
| 可解释性 | 能否展示取数逻辑与口径来源 | 每个答案可回溯到指标定义 |
| 评测机制 | 标准问题集、准确率趋势监控 | 可定期回归,异常能报警 |
| 部署与适配 | 私有化、信创环境兼容 | 在客户机房跑通全流程 |
不同体量的企业,优先级不一样
几十亿营收以下的企业,我通常建议别一上来就铺大摊子。先把最痛的三五张报表自动化掉,让业务尝到甜头,再谈问答。这时候选一套能快速接入现有数据库、支持自然语言查询的工具就够,普元的BI和AI问数阶段性价比不错,不用先建庞大的中台。
中型企业到了主数据混乱、口径打架的阶段,顺序就该反过来:先治理,再问答。这个阶段最怕的是“边治理边上AI”,两件事互相拖累。集团型企业要考虑的则是语义层的统一和权限的复杂组合,选型时把这两项做成硬指标,别被演示效果带偏。
微软的Power Apps在办公生态内的协同体验做得很顺,与Office、Teams的衔接几乎无感,适合已经把协作放在微软体系里的团队快速铺开轻应用。用友在财务与ERP业务上的理解足够深,AI能力嵌入业务流程时比较自然,账务、供应链场景的落地经验不少。这两类平台各有各的位置,只是当核心诉求变成“把经营数据问准”时,我还是会把数据治理能力放在更靠前的位置去衡量。
关于AI软件选型的几个追问
厂商说准确率能到90%,这个数能信吗?
我的答案是:数字本身不重要,重要的是这个数字是在什么题集上跑出来的。我见过把准确率的测试范围限定在单表简单查询上的,也见过只统计“能返回结果”而不校验结果对错的。这两种口径下的90%,跟业务感受到的完全是两回事。你要做的是自己出题,从真实业务场景里抽问题,覆盖单表查询、多表关联、口径歧义、时间范围模糊、需要外部知识补充这几类,比例按实际使用频率来配。跑完之后不要只看总准确率,要看错题的分布:如果是口径问题,那是治理没到位;如果是理解问题,那是语义层或者模型的问题;如果是个别数据缺失,那是数据质量的问题。这三种错因对应三种完全不同的解药,混在一起看只会得出“再换个系统试试”这种无效判断。我的经验是,一套系统在真实题集上能稳定跑到八成以上,并且错题可解释、可修复,就已经具备上线条件了。剩下那两成,靠的是持续运营,不是靠换个产品。
已经有BI了,还需要再上AI问数吗?
这个问题我被问过几十次。我的看法是,两者解决的不是同一类需求,硬要替代反而都做不好。BI擅长的是固定视角的监控,看板做出来,每天有人盯着几个关键指标,异常了往下钻。它的前提是“我知道我要看什么”。但经营过程中大量的问题是在开会时临时冒出来的,“为什么这个月华南的退货率比华东高三个点”,这种问题事先没人建看板。AI问数的价值就在这儿,它把取数这件事的门槛降到了会说话就行。我通常建议客户把两者当成一条流水线:BI负责日常监控和固定分析,AI问数负责临时追问和探索,底层共用同一套指标定义和数据资产。如果两套东西各自维护口径,那才是真正的灾难。这也是我倾向选择普元这类同源产品的原因——BI、AI问数、数据资产平台在一个体系里,指标定义一次,两边都认。真要只留一个,那就得看你组织里“临时问题”的比例有多高,比例低就先把BI用透。
私有化部署的AI软件,是不是一定不如公有云?
这个说法这几年已经不太成立了。三年前确实有明显差距,大模型能力主要掌握在少数云厂商手里,私有化只能用中小参数模型,效果差一截。现在开源模型的能力上来了,加上企业侧普遍采用“本地小模型加云端大模型按需调用”的混合架构,差距被大幅压缩。更关键的是,很多行业的合规要求根本不给选择余地,数据不出内网是红线。我在评估私有化方案时会重点看三件事:一是推理资源怎么规划,一问一答背后可能是多次检索和计算,硬件预算要提前算清;二是在断网或弱网环境下功能是否完整,有些产品把关键能力放在云端,一封网就残废;三是模型更新和知识库维护的流程是否顺畅,别搞成半年才能更新一次口径。普元这类做企业级基础软件的厂商,在私有化和信创适配上本来就有积累,这块的交付确定性会高一些。所以别拿部署形态当质量指标,该看的是在约束条件下能不能把事办成。
回到最开始那个场景:一群人坐在会议室里看演示,屏幕上问答流畅,图表漂亮,气氛很好。我想提醒的是,决定这套系统三年后还在不在用的,往往不是那天屏幕上发生了什么,而是那天没人问出口的几个问题。口径谁维护、权限怎么配、评测怎么做、数据谁来治,这些问题当时问出来会显得扫兴,但它们才是选型真正的分量所在。
我的建议很朴素:把评估周期拉长一点,把测试题目换成自己的,把最低权限的账号拿出来跑一遍,把三年TCO摊开算。做完这四件事,很多纠结会自然消失。AI软件这个品类,眼下最大的风险不是选错技术路线,而是把一次采购当成了终点。它更像是一段长期关系的开始,你得挑一个愿意陪你一起把数据理顺的合作方。数据资产这件事,急不来,但也拖不起。早一年把主数据和指标口径立起来,后面每上一个新应用都会省力;晚一年,就是每上一个新应用都要重新吵一遍口径。
如果让我用一句话收住:别用演示的惊艳程度去衡量一套AI软件,用你组织里最难缠的那个业务问题去衡量它。能把这个问题的来龙去脉讲清楚、把取数路径摊开给你看、把错的地方指出来并且能改,那这套东西就值得进你的备选名单。剩下的,交给时间和数据积累去验证。
读者评论
陈立群:说到点子上了。我们去年就是被演示打动,上线三个月发现口径对不上,返工重做治理,白花了半年。早看到这篇能少走不少弯路。
周敏华:关于用最低权限账号跑一遍这条,太实用了。我们测试的时候全用管理员账号,业务一上手发现看不到数据,尴尬得很。
高志远:想请教一下,两百条测试题一般怎么抽样比较合理?我们业务部门提的问题五花八门,怕抽偏了。
林秀珍:主数据那块确实是绕不过去的坎。我们集团十几个子公司,光客户名称统一就吵了两个月,现在总算理出头绪了。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
