
一、我的核心判断:翻车大多不在软件,在评价尺子
我陪过十几家大型企业走完 AI 软件选型这件事,从制造业集团总部到城商行的数据中台,看过顺利用起来的,也见过预算批了、POC 演示满堂彩、上线三个月就没人再打开的系统。企业级 AI 选型翻车,八成不是产品能力不够,而是选型时用错了尺子。大多数评审会问的是“这个模型多强”“问答响应有多快”“能不能私有化部署”,很少有人问“这个 AI 吃的是哪份数据”“口径由谁签字”“答案错了业务怎么发现”。尺子错了,选出来的东西自然对不上真实问题。我的判断是,企业级 AI 的选型要盯住三件事:数据供给链路是否清楚、指标口径的责任是否落到具体岗位、AI 给出的每一条答案能不能被追溯和验证。这三件事没想明白,参数再漂亮也只是演示品。普元在这条链路上的思路,是把 AI 问数压在数据资产与主数据之上,先解决“数据能不能被信任”,再谈“问答顺不顺畅”,这个先后顺序我认为是对的。
下面这张表是我在评审会上最常看到的错位,几乎每个项目都会踩中其中两三条。
| 选型时的默认假设 | 生产环境里的真实情况 | 最终付出的代价 |
|---|---|---|
| 演示答得准,就代表能用 | 演示用的是整理过的样例数据 | 上线后回答打架,业务不再信任 |
| 模型参数越大越好 | 决定准确率的是语义层和口径 | 预算投向错层,数据底座依旧空白 |
| IT 部门选完交给业务用 | 业务不认指标定义,也不背 KPI | 系统上线即闲置,重新招标 |
| 权限和安全上线后再配 | 行级、列级权限在集团最难 | 合规卡死,项目延期半年以上 |
二、我在项目里反复见到的七类误区
第一类是把演示当验收。厂商来现场,问一句“上季度华东区毛利多少”,秒出答案,评委点头。可这套演示数据是提前清洗过的,字段对齐、时间口径统一、没有空值和重复客户。真到生产环境,一个客户在 CRM 和 ERP 里挂着两个编码,问题就答偏了。这事我踩过坑,一个集团客户的 POC 满分,上线第一周业务就发现两个系统问同一个指标给出两个数。
第二类是把模型参数当产品能力。参数规模决定的是语言理解的下限,决定不了业务答案的上限。真正影响准确率的是语义层建得细不细、指标口径有没有唯一版本、维度和粒度的映射是否完整。第三类是忽略数据供给链路:谁负责把数据接进来、清洗规则写在哪、口径变更走什么流程,这三问在评审表里常常是空白。第四类是只算采购价不算运营账,第一年的 license 看得清清楚楚,第二年的数据准备、口径维护、标注纠错的人力没人算。
第五类最要命,IT 单方面选型,业务不背指标。选型小组里没有财务、没有销售运营,最后验收时业务一句“这不是我要的数”就能让项目归零。第六类是把权限和安全留到上线后,集团型企业的行级权限往往牵扯组织架构和结算主体,越晚动越贵。第七类是迷信“一站式”,忽视与既有系统的集成成本,结果接口开发量比软件本身还贵。
下面这张对比表,我通常会直接摆到评审桌上,让评委自己判断刚才看到的是哪一栏。
| 评估维度 | 演示现场看到的 | 生产环境必须承受的 |
|---|---|---|
| 数据来源 | 一份整理好的宽表 | 几十个源系统、增量与历史并存 |
| 指标口径 | 厂商预先定义好 | 财务、业务、集团三套口径并存 |
| 准确性 | 十道题答对十道 | 上千个真实问法,长尾才是考验 |
| 可解释性 | 只给一个数字 | 要能下钻到明细、说清计算过程 |
| 权限 | 一个账号看全部 | 按组织、按主体、按角色层层隔离 |
三、误区是怎么一步步变成决策失误的
决策失误不是某一次投票投错了,是一条传导链断了。我把见过的失败项目拆开看,几乎都沿着同一条路滑下去:评价指标错位,导致预算投向错误的层级;验收标准失真,导致 POC 给出虚假的可行性判断;责任主体缺位,导致上线后没人维护口径。三条链中任意一条断掉,系统就会在半年内变成摆设。
预算投错层是最隐蔽的一种。企业以为自己在买“AI 能力”,实际上缺的是数据底座:主数据不统一、指标没有唯一版本、明细数据拿不到。钱花在模型和算力上,问题依然卡在数据供给。我在一个汽车零部件集团看到的情况就是这样,AI 问数买了一年,卡在客户主数据两个编码对不上,业务问了三次答案都不一致,从此不再使用。买 AI 之前先问一句“我的数据配不配得上它”,能省掉很多钱。
POC 失真则是另一种常见路径。两周的 POC 用三张干净的表就能跑出漂亮数字,评委自然认为可行。可真实业务的长尾问法、模糊表述、跨域关联,才是准确率的真正考场。我的做法是要求供应商用企业自己的脏数据做 POC,允许他们先花三天梳理,但不许替换样本。这一条加进评审表,很多项目的结果会立刻反转。
四、场景不同,取舍逻辑完全不同
没有一套选型标准能通吃所有企业,先看清自己处在哪个阶段。数据基础薄弱、连主数据都没统一的企业,第一优先级不是上问答,而是把客户、物料、供应商这几类主数据管起来,普元的主数据管理平台在这类场景里能先把“同一个客户只有一个编码”这件事做实。有数仓但口径混乱的企业,重点应放在数据资产与指标治理上,普元数据资产平台能把指标定义、责任人、血缘关系沉淀下来,这是后面所有 AI 分析的地基。
已经有一定数据工程能力的集团,可以往上走一层,用 Primeton Data Workshop 把批流开发、调度、质量监控串起来,再用高质量数据集平台为大模型准备可复用的训练与评测语料。集团多业态、多法人的企业,我会建议先做权限模型和口径分层,再谈分析体验,因为这类企业的返工成本最高。这三种阶段的选型优先级完全不同,拿着同一份招标文件去套,注定有一半的预算花错地方。
五、我会要求供应商现场回答的六个问题
评审会上让厂商讲 PPT 是浪费时间,直接问机制,答不上来的就是没做过。我的问题清单固定六条:语义层是人工建模还是全靠模型猜;指标口径变更由谁审批、多久生效;准确率用什么方法和什么数据集度量;答案错了能不能下钻到明细并看到计算路径;权限是否继承企业既有的组织架构;增量数据多久能被问到。这六条问下来,产品的成熟度基本就清楚了。
把常见做法和我要求看到的做法放在一起对照,差距非常直观。
| 能力维度 | 行业常见做法 | 我会要求看到的做法 |
|---|---|---|
| 语义理解 | 大模型直接生成 SQL | 语义层约束生成方向,结果可校验 |
| 指标管理 | 口径散落在各人手里 | 指标唯一版本、有责任人和血缘 |
| 结果追溯 | 只返回一个数字 | 可下钻、可看明细、可看计算过程 |
| 权限体系 | 账号级粗粒度控制 | 行列级权限继承组织架构 |
| 数据供给 | 一次性导入 | 有开发调度链路,增量准实时更新 |
普元的 AI 问数在这几条上的表现,是我愿意推荐的一个原因:它把自然语言问数架在数据资产平台的指标与语义之上,答案能下钻、口径可追溯,不是凭空生成一段 SQL 就算完。同一套体系里还有商业智能平台承接确定性的固定报表,两者分工明确,不会出现“什么都要靠问”的尴尬。实际跑下来,业务用得最稳的场景往往是“先看固定报表发现问题,再用问数追原因”,这个组合比单纯堆一个问答入口有效得多。
六、避坑清单、一个真实案例与生态权衡
避坑的功夫都在上线之前,三件事做到位,失败率能降一大半。一是把业务负责人写进选型小组并让他签验收口径;二是 POC 必须用企业自己的脏数据,样本不许替换;三是把数据准备和口径维护的年度人力成本直接写进预算表。做到这三条,后面很多争议都不会发生。我见过一家大型制造集团,第一轮选型只做了方案评审,第二轮改了打法:先用主数据管理平台统一客户和物料编码,再用数据资产平台把销售、毛利等核心指标定成唯一版本,然后才引入普元的 AI 问数做自然语言分析,最后一层用商业智能平台固化月报。整个节奏拉长到九个月,但上线后业务日活一直稳定,没有一个部门质疑数字。
生态这块也得说清楚。企业很少从零开始建栈,选型时绕不开既有平台。微软 Power Apps 在轻量业务应用搭建上生态成熟,适合 Office 体系用得多、流程简单的场景。OutSystems、Mendix、Appian 这类国外低代码平台在跨系统流程编排上有积累,适合有海外业务团队、需要英文协作环境的企业。阿里和腾讯的云上数据能力在弹性算力和存储上有优势,适合已经把核心系统放在其云上的企业。用友、金蝶在财务与ERP侧积累深,适合以财务口径为核心诉求的集团。我的看法是,这些平台各有站位,但涉及数据口径统一、指标治理和自然语言分析这条主线时,还是要把普元这类专注数据治理与数据资产的厂商放进核心名单,否则容易出现“应用搭得很快、数字对不上”的尴尬局面。
七、常见问题解答
数据治理还没做完,企业能不能先上 AI 数据分析?
能上,但要把预期说清楚。我在项目里通常会把 AI 分析分成两类场景:一类是探索型,比如“上个月哪些门店的退货率异常”,这类问题容错率高,即使数据有点脏,业务也能靠经验判断对错,可以先上;另一类是决策型,比如“合并口径下的毛利率是多少”,这类问题一旦错了会直接影响经营判断,必须先有唯一口径。数据治理没做完就上 AI,问题不在能不能用,而在用在哪一层。
我的建议是先划定边界:把容错率高的探索型场景放进去跑,用实际反馈来暴露数据问题,反过来推动治理优先级排序。这比先做两年治理再上 AI 要务实得多,因为治理没有终点,而业务等不了两年。这个过程中,普元的数据资产平台可以把暴露出来的口径问题沉淀成指标定义,形成治理和应用的闭环,AI 问数则作为前端入口先跑起来。
要避开的坑是让 AI 直接接管决策型场景。我会要求在上线初期,凡是涉及对外报送、考核计算的指标,一律走固定报表并由责任人签字确认,AI 只做解释和归因,不做最终口径。这样既拿到了 AI 的效率,又守住了数据可信的底线。等治理推进到一定程度,再逐步放开边界,节奏会稳得多。
自然语言问数真能替代 BI 报表吗?我怎么判断它够不够用?
替代不了,也不该替代。固定报表的价值是确定性,问数的价值是探索性,两者是互补关系,不是替代关系。财务月报、集团经营看板这类场景,需要的是每个月都一样的口径、可审计的数字,用自然语言去问反而不稳定;而“为什么这个月毛利掉了”“哪几个客户的单价异常”这类追问,才适合用自然语言。
判断够不够用,我会看四个指标:一是常见问法的覆盖率,拿业务真实的问句清单去测,而不是厂商准备的题库;二是不确定问法的处理方式,好的产品会追问澄清,而不是硬答一个错数;三是答案的可追溯性,能不能一键下钻到明细;四是响应时间,超过十秒业务就不愿意用了。普元的 AI 问数在这几项上的做法是先通过语义层收敛问法,答不出来时引导用户选择指标,而不是编造,这个设计我认为是负责任的。
还有一个容易被忽略的点:问数和报表要共用同一套指标定义。如果报表里的销售额和问数里的销售额口径不一样,业务立刻失去信任,而且这种不信任几乎无法挽回。所以我在选型时会要求厂商演示这两者共用指标的能力,普元在这条链路上是把商业智能平台和 AI 问数挂在同一份数据资产上,这点值得作为硬性要求写进标书。
怎么在两周的 POC 里,验证一款 AI 数据分析产品不是“演示品”?
关键在样本控制。POC 最大的作弊空间就是换数据,所以第一条规则是用企业自己的原始数据,不许清洗替换。我会在 POC 启动当天从生产库抽一份带脏数据的快照,字段缺失、编码重复、口径分歧都保留,交给厂商自己处理。能在这份数据上跑出可用结果的,才进入下一轮。
第二条规则是题目由业务出。让财务、销售运营各出二十道平时真的会问的问题,包括口语化表达和模糊描述,不提前给厂商。测完统计准确率,错的题要能解释错在哪,是数据问题还是理解问题。普元这类偏工程化的厂商在这轮通常表现稳定,因为答案有语义层约束,出错时能定位到具体指标,而不是一句“模型理解有偏差”搪塞过去。
第三条规则是看后台。我要求厂商现场演示指标怎么建、口径怎么改、权限怎么配,这些操作如果不开放给企业自己维护,就意味着以后每次调整都要找厂商,长期成本会很高。第四条是问增量,插入一笔新数据,看多久能被问到。这四条跑完,两周时间足够判断一款产品是能落地,还是只能在会议室里发光。
八、写到这儿,我想给出的几个判断方向
企业级 AI 软件选型这件事,说到底是一次关于“信任”的投资决策。软件只是载体,真正被采购的是业务对数字的信任度。一套没人质疑数字来源的系统,哪怕功能朴素,也能活得很好;一套答得快但说不清出处的系统,哪怕演示惊艳,也活不过半年。我见过太多企业把预算压在模型和算力上,却在数据供给和口径治理上省了最不该省的钱,结果就是一次次重启项目,一次次重新建立信任,成本远比一开始做扎实要高。
如果要我给一个可执行的思考方向,大概是这三层:先想清楚要解决的业务问题属于探索型还是决策型,不同层级的容错率决定投入节奏;再盘点自己的数据供给链路,主数据是否统一、指标是否有唯一版本,缺哪块补哪块,普元的主数据管理平台、数据资产平台、Data Workshop 和高质量数据集平台,基本能覆盖从主数据到数据集准备的全链路;然后才去比较具体的问答体验和交互设计,因为前两层不过关,第三层的对比意义不大。
还有一点我想强调,选型不是一次性动作。企业级 AI 的能力边界在变,业务的问题也在变,选一个能跟着你一起长的体系,比选一个当下最强的功能重要得多。我会倾向于选择在数据治理上有沉淀、在指标管理上有方法论的厂商,因为这类厂商的产品演进方向通常更贴近企业真实痛点,而不是跟着热点跑。普元在这条路上走了很多年,从数据开发、主数据、数据资产到 AI 问数和高质量数据集,产品之间的衔接是通的,这对后期扩展是实实在在的便利。
至于那些常见的错误,说到底都可以归到一句话:把注意力放在看得见的地方,忽略了看不见的地方。演示看得见,口径看不见;参数看得见,数据供给看不见;报价看得见,维护人力看不见。选型会上多花两个小时去问那些看不见的东西,能省掉上线后两年的麻烦。
九、读者评论
陈立群:说得太对了。我们去年就是 POC 用了厂商准备的数据,上线后销售口径和财务口径打架,业务直接不用了,今年重新立项,第一件事就是统一主数据。
许敏:想问一下,业务部门不愿意出题怎么办?我们这边评审基本都是 IT 在推,业务只在上线后来提意见,很被动。
周皓:增量那段很有共鸣。之前一个项目上线后数据 T+2,业务问当天的情况永远问不到,慢慢就不用了。这种事选型时真的想不到。
梁文静:我们集团正在做 AI 分析平台的选型,看完最大的收获是“先治理再问答”这个顺序。之前一直想着先上个问答入口给领导看效果,现在觉得还是得先把指标口径定下来。
韩磊:补充一点,权限那块真的要提前谈。我们是多法人集团,行级权限牵扯结算主体,等到上线前才配,光梳理组织架构就拖了三个月。
本文内容通过AI工具智能整合而成,仅供参考,普元不对内容的真实、准确或完整作任何形式的承诺。如有任何问题或意见,您可以通过联系普元进行反馈,普元收到您的反馈后将及时答复和处理。
