欧博东方上周跟一位连锁零售的CIO吃饭，他拍着桌子吐槽。花了近百万上了最新的企业AI搜索，乙方交付的时候给了一堆漂亮数据：召回率96%，准确率92%，平均响应耗时不到200毫秒。
结果呢？业务部门天天投诉，市场部找去年的618活动方案，搜“618 方案”出来一堆不相干的海报源文件，连老板都吐槽说找个东西比原来存共享盘还麻烦。
很多企业都碰到过这个问题。钱花了，效果好不好说不清楚，跟着厂商的指标走，业务不认，自己瞎算又摸不着门道。
别被乙方给的技术指标套牢
现在大多数厂商给你展示的效果，都是技术指标。召回率、准确率、mAP值、响应时长……看起来专业又好看，可这些指标都是在标准测试集上跑出来的。
真实业务场景哪有什么标准测试集？
内部知识搜索里，用户会搜“老板上次会提的那个供应商”，站内商品搜索里，用户会搜“配牛仔裤的上衣 不要牛仔”，这些口语化、模糊化的需求，标准指标根本体现不出来。
不少企业做效果量化，上来就顺着厂商的思路走，最后拿着一堆漂亮的技术数据给老板汇报，业务部门说不好用，里外不是人。
可落地的量化，要分三层锚定业务
说实话，量化企业AI搜索效果，核心就是回答三个问题：用户愿不愿意用？用了省了多少事？能不能帮业务赚钱省钱？拆开来就是三层可落地的量化维度。
第一层是用户体验层，看行为数据。别问用户好不好用，要看数据：系统上线后，月度活跃用户占应该用的总人数比例是多少？用户平均每天搜几次？搜完之后有没有快速找到目标，还是搜一次不对再搜一次？
这里有个很容易被忽略但非常好用的指标：单次需求平均搜索次数。原来用户找一个东西，平均要换3个关键词搜三次才能找到，现在一次就找到，这不就是明显的效果提升吗？
之前欧博东方给国内一家大型装备制造企业做内部知识AI搜索项目，上线前他们统计，用户找一份生产工艺文档，平均要搜索2.1次才能找到正确版本，上线之后这个数字降到了0.3次，不用多说什么，所有人都能感受到变化。
第二层是运营效率层，算时间成本。把搜索节省的时间折成实实在在的人力成本，老板一眼就能看懂。原来找一份供应商合同，平均要找部门共享盘、问老员工，折腾25分钟，现在1分钟就出来，一个采购一年搜100次，省出来的时间就能多处理好几个订单，这个账谁都会算。
第三层是业务价值层，直接算产出。不同场景不一样：电商站内AI搜索，就看搜索后的点击率、转化率、客单价，比原来的传统搜索提升了多少，乘以原来的交易额就是赚的钱；内部客服AI搜索，就看一线客服解决用户问题的平均时长，还有一次解决率，时长降了，一次解决率升了，就是价值；销售用的产品知识库搜索，就看成单率有没有提升，因为原来找参数找半天错过商机的情况少了，成单率就是最硬的指标。
量化时一定要避开这几个坑
第一个坑，只测上线前，不测长期。厂商交付前测的都是精选的测试集，准确率召回率都好看，上线三个月，新的业务文档、新商品不断入库，用户的需求也会变，效果会不会下滑？得持续跟踪数据，不能上线验收完就不管了。
第二个坑，只看整体平均，不看细分。很多时候整体数据看起来很漂亮，整体准确率90%，可销售部门最常用的产品参数类搜索，准确率只有60%，对销售来说这个系统就是没用的。一定要按部门、按业务场景拆分看数据，核心场景的效果比整体平均重要多了。
第三个坑，追求完美指标，不肯落地。我见过不少企业，非要把准确率做到95%以上，差一个百分点就不验收，折腾大半年，本来能早点用起来提升效率，愣是拖成了烂尾项目。说实话，AI搜索本来就做不到100%准确，原来10次搜索只能对3次，现在能对8次，就已经足够值钱了，没必要吹毛求疵。
现在AI火，所有企业都想蹭上AI搜索的风口，可很多人上了之后才发现，连效果好不好都没法说清楚。其实量化没那么复杂，别盯着那些漂亮的技术名词，往你自己的业务需求上靠，就不会错。能解决你的问题，能帮你省钱赚钱，就是好效果。
常见问题
Q：中小企业做AI搜索效果量化，也要搞三层这么复杂吗？
A：完全不用，小团队没那么多人力搞复杂统计，抓住核心指标就行——原来找一份资料平均花10分钟，现在花2分钟，这就足够说明效果了，能用就行，不用搞花架子。
Q：技术指标完全没用吗？
A：当然不是，技术指标是基础门槛，如果厂商给你的召回率连70%都达不到，那再怎么包装业务价值也没用。但技术指标只是入门，最终效果好坏还是要落到业务上看。
Q：不同场景的AI搜索，量化指标通用吗？
A：差得很远，电商站内搜索核心看转化，内部知识搜索核心看时间成本，客服AI搜索核心看问题一次解决率，一定要结合自己的场景来定，别照搬别人的指标。
