这是坑,别信机器学习初学者说的“准确率99%”,实际应用中99%的模型准确率都低于80%。
记得那是2010年,我刚转行做客服的时候,一天接到了一个电话,对方是个很急的客户,他的订单出了点小问题。我花了两个小时,一个细节一个细节地跟客户解释,最后终于搞定了。挂电话的时候,客户连声说“谢谢你,真专业”。那一刻,我突然意识到,哪怕是一个小小的细节,也能体现一个人的准确率。
等等,还有个事,我之前在培训的时候,看到一份报告,说在某个大型企业里,客服的平均准确率达到了98%。想想看,这个数字背后,是无数次的练习和修正。
不过,准确率真的高就万事大吉了吗?还是说,还有其他的东西比准确率更重要呢?
准确率,其实很简单。它衡量的是预测或判断的正确程度。先说最重要的,准确率通常用百分比来表示,比如在机器学习模型中,一个模型的准确率是90%,就意味着模型在所有测试样本中,有90%的预测是正确的。
另外一点,准确率的应用场景很广泛。比如,去年我们跑的那个项目,需要预测用户是否会购买某个产品,通过模型测试,准确率达到了85%,大概3000量级的数据量。这个准确率对于商业决策来说已经很不错了。
我一开始也以为准确率越高越好,但后来发现不对。有时候,过高的准确率可能是因为数据过于简单或者模型过于拟合,这样在实际应用中可能并不稳定。等等,还有个事,有时候我们追求的准确率可能并不适用于所有场景,比如在紧急情况下,快速反应可能比准确率更重要。
所以,提醒一个容易踩的坑,就是不要只看准确率,还要考虑模型的泛化能力、速度和成本等因素。我觉得值得试试,在评估模型时,多维度地去考虑。