图片

图片

作者 | Santiago Valdarrama
译者 | Sambodhi
策划 | 刘燕

本文最初发表于 Towards Data Science 博客,经原作者 Santiago Valdarrama 授权,InfoQ 中文站翻译并分享。

和很多人的想法相反,性能最好的机器学习模型未必是最好的解决方案。在 Kaggle 竞赛中,性能是你需要的全部。实际上,这也是另一个需要考虑的因素。下面让我们从模型的性能开始,并重新考虑一些其他考虑因素,以便在选择模型来解决问题时牢记在心。

1. 性能

模型结果的质量是选择模型时应考虑的基本因素。优先选择能够使性能最大化的算法。取决于问题,不同的度量标准可能对分析模型的结果有所帮助。举例来说,最流行的度量有正确率、准确率、查全率和 F1 分数。

切记,并非每一个度量都适用于所有的情况。例如,在处理不平衡的数据集时,正确率是不适当的。在我们准备开始模型选择过程之前,选择一种良好的度量(或一组指标)来评估模型性能是一项至关重要的任务。

2. 可解释性

很多情况下,对模型结果的解释是至关重要的。遗憾的是,很多算法就像黑盒子一样工作,无论结果如何,都很难解释。在这些情况下,缺乏可解释性可能是成功或失败的决定性条件。

如果存在可解释性问题,线性回归和决策树是很好的选择。神经网络则不然。选择好的候选者之前,一定要知道每种模型的结果是否易于解释。有意思的是,可解释性和复杂性通常存在于两个极端,所以接下来我们来看看复杂性。

3. 复杂性

一种复杂的模型在数据中可能会发现更多有趣的模式,但是,这会使维护和解释更加困难。

这里有一些不严谨的概括,需要记住:

  • 复杂性越高,性能就越好,但是成本也越高。
  • 复杂性与可解释性成反比。模型越复杂,解释结果就越困难。

抛开可解释性不谈,构建和维护模型的成本是项目成功的关键因素。复杂的设置会对模型的整个生命周期产生更大的影响。

4. 数据集大小

可用的训练数据量是选择模型时要考虑的主要因素之一。

神经网络在处理和合成大量数据方面确实很出色。KNN(K-Nearest Neighbors,K- 最近邻)模型更好,示例也更少。除了可用的数据量外,还有一个重要的考虑因素是,为了获得好的结果,你真正需要多少数据。有时候,你可以通过 100 个训练例子来建立一个很好的解决方案;有时候,你需要 100000 个例子。

利用这些与你的问题和数据量有关的信息,选择一个模型来处理它。

5. 维度

从两个不同的角度看待维度是有用的:数据集的垂直大小代表我们拥有的数据量。水平大小代表特征的数量。

我们已经讨论了垂直维度如何影响优秀模型的选择。事实证明,水平维度也是需要考虑的因素。如果你的模型有更多的特征,就会有更好的解决方案。越多的特征也会增加模型的复杂性。

“维度的诅咒”(Curse of dimensionality)很好地介绍了维度如何影响模型的复杂性。可以想象,并非每一个模型对高维数据集的扩展都是相同的。在将高维数据作为问题进行集成时,我们可能也需要引入特定的降维算法。PCA 是这方面最流行的算法之一。

6. 训练时间与成本

训练一个模型需要多长时间,需要多少钱?你会选择一个正确率为 98%、训练成本为 10 万美元的模型,还是选择一个准确率为 97%、成本为 1 万美元的模型?

这个问题的答案当然取决于你的个人情况。

需要在接近实时的情况下结合新知识的模型,很难适应长周期的训练。举例来说,推荐系统需要根据每个用户的动作不断更新,才能从廉价的训练周期中获益。在设计可扩展的解决方案时,平衡时间、成本和性能非常重要。

7. 推理时间

运行一个模型并作出预测需要多长时间?想象一下自动驾驶系统:它需要实时作出决策,因此任何时间过长的模型都无法被考虑。

例如,使用 KNN 开发预测所需的大部分处理都在推理过程中进行。因此运行它的成本非常高。但决策树的推理时间较短,在训练过程中需要较长的时间。

结语

很多人专注于他们最喜欢的模型。常常是他们最熟悉的那个,在前一个项目中给他们带来了好效果。

但是机器学习中 没有免费的午餐。任何一种模型都不能同时适用于所有情况,尤其是当我们考虑现实生活中的系统限制时。

当选择一个好的模型时,了解几个不同的考虑因素对确保项目的成功至关重要。作为总结,下面列出了我们刚才讨论的内容:

  1. 模型的性能
  2. 结果的可解释性
  3. 模型的复杂性
  4. 数据集的大小
  5. 数据的维度
  6. 训练时间和成本
  7. 推理时间

作者介绍:

Santiago Valdarrama,专注于机器学习系统。

原文链接:

https://towardsdatascience.com/considerations-when-choosing-a-machine-learning-model-aa31f52c27f3?gi=b42e581fe448


内容来源:Santiago Valdarrama

Loading

作者 aiforum

发表回复