关于现代神经网络的校准

置信度校准——预测概率估计值以代表真实的正确性可能性这一问题——对于许多应用中的分类模型至关重要。我们发现，与十年前的神经网络不同，现代神经网络的校准效果较差。通过大量的实验，我们观察到深度、宽度、权重衰减和批量归一化是影响校准的重要因素。我们评估了各种后处理校准方法在最先进的架构上，使用图像和文档分类数据集。我们的分析和实验不仅提供了对神经网络学习的见解，还为实际设置提供了一个简单直接的方案：在大多数数据集上，温度缩放——Platt Scaling的一个单参数变体——在校准预测方面出奇地有效。