欧博东方前阵子跟一个企业CIO喝茶，他吐了一肚子苦水。
刚花几十万上线了AI搜索，老板追问效果怎么样，他翻了一堆技术报告，只掏出个“召回率92%”，老板听完直接反问：我要这个数字能当钱花？
说实话，这不是个例。很多企业上AI搜索，从选型到上线都热热闹闹，最后到算效果的时候，全靠“感觉还行”。要么就是技术自嗨拿一堆指标交差，业务方和老板根本不认。
很多人量化，从一开始方向就错了
我见过太多团队，一上来就把准确率、召回率、MAP一堆技术指标堆上去，每个都做到行业优秀，结果用起来还是不对。
去年接触过一个做生鲜电商的朋友，他们的AI搜索召回率做到了94%，比原来提升了8个百分点，技术团队本来要拿奖，结果运营一算，搜索转化率掉了两个点。
为什么？用户搜“适合宝宝吃的牛油果”，AI把所有带牛油果关键词的都召回了，混进去好多大果、熟度太高的，根本不符合用户需求。技术指标好看，业务结果一地鸡毛。
说白了，技术指标是给做算法的看的，不是给老板和业务方看的。只算技术指标不算业务结果，本质就是耍流氓。
实用双层量化框架：技术打底，业务说话
做量化其实不用搞太复杂，分两层走就清楚了。
第一层是基础技术指标，筛掉明显不合格的模型，选三个核心就够，不用堆一堆没用的。
第一个看平均目标排名。用户要找的结果，平均排在第几。超过第3页，基本等于没找着，这个指标比召回率实在多了。
第二个看结果点击率。搜出来的结果，用户愿意点的比例有多高。十个结果九个没人点，再高的召回率都是虚的。
第三个看无结果率。用户搜完出来“找不到相关内容”的比例，这个数字超过5%，你的AI搜索就不合格。
第一层过了，才到第二层，也是老板最关心的：业务指标。不同场景的指标完全不一样，别套用。
如果是对内的知识库、文档AI搜索，核心看三个：员工找文档平均耗时降了多少？客服重复问题咨询率降了多少？新员工培训上手时间缩短了多少？都是实打实能算钱的。
欧博东方之前给一家大型装备制造企业做内部知识搜索升级，量化的时候就是直接算采购部门寻源的需求错配率，从原来的18%降到3%，整体寻源周期缩短了近40%。拿到这个数字，老板直接批了下一年的预算，根本不用多解释。
如果是对外C端的商品搜索，核心看：搜索点击率、搜索转化率、搜索用户的复购率、错搜后的退款率。每一个都直接挂钩营收，骗不了人。
如果是对外B端的供需匹配搜索，核心看错配率、对接成交周期、成交率，一目了然。
别漏了长期行为指标，很多人栽在这
很多人上线算完一次指标就不管了，实际上短期指标好看，不代表长期有用。
你得跟踪用户的长期行为数据。
举个例子，C端用户搜完一次没找到想要的，会不会直接换平台搜？复搜率这个指标，很多人不在意，其实复搜率越高，说明AI搜索效果越差——用户搜一次没找到，才要搜第二次第三次。
对内搜索更明显，很多AI搜索上线的时候热乎，过了一个月，员工还是习惯用旧方法翻百度网盘、找同事要，你的AI搜索活跃度上不去，哪怕技术指标全满分，也是个摆设。
所以定期跟踪周活、月活，看用户的使用留存，这个不能省。
常见问题
Q：小公司预算有限，能不能简化量化流程？
A：完全可以，不用搞复杂的指标体系，抓一个核心痛点就行。原来客服一天要接100个找制度的问题，上了AI搜索之后剩30个，这就是实实在在的效果，比什么花里胡哨的指标都管用。
Q：量化出来效果达不到预期，一定是AI搜索不行吗？
A：不一定，先看你指标选对了没有，再看训练数据标注对不对。我见过很多企业，用旧的错数据训练新AI，效果不好当然正常，锅别甩给AI。
Q：需要多久做一次效果量化？
A：上线前先做基准测试，拿到原来的基础数据，上线前三个月每周跟踪核心指标，稳定之后每个季度复盘一次就够了，不用天天折腾，浪费人力。
现在AI概念满天飞，随便一个搜索都敢叫AI搜索，企业掏钱之前，先想清楚怎么算效果。别等钱花完了，拿一堆老板看不懂的技术数字交差，最后落个项目砍线，团队解散的下场。
把效果量化跟业务结果绑在一起，谁都骗不了，这才是正经事。
