三思而后行：关于使用交叉验证进行学习者评估的一些见解

机器学习很大程度上是一门实验科学，预测模型评估是其重要方面。如今，交叉验证是这项任务中使用最广泛的方法。然而，在使用这种方法时，应该考虑一些重要的点。首先，应该清楚地说明想要估计什么。即，应该区分在单个数据集上学习的模型评估，以及在给定数据群体的随机样本上训练的学习者的评估。这两个问题中的每一个都需要不同的统计方法，不应将它们混淆。虽然之前已经注意到这一点，但关于这个主题的文献通常不太容易理解。本文试图对这两个评估任务的统计方面提供一个易于理解的概述。我们还认为，由于数据通常有限，并且难以选择合适的统计检验，在某些情况下，最好放弃统计检验，而是专注于对直接结果的解释。