视觉表征对比学习的简单框架

陈婷, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton
机器学习国际会议 Proceedings of the 37th International Conference on Machine Learning, PMLR 119:1597-1607, 2020.

摘要

本文提出SimCLR：一个用于视觉表征对比学习的简单框架。我们简化了最近提出的对比自监督学习算法，而无需专门的架构或记忆库。为了理解对比预测任务能够学习有用表征的原因，我们系统地研究了我们框架的主要组成部分。我们表明：（1）数据增强的组合在定义有效的预测任务中起着关键作用；（2）在表征和对比损失之间引入可学习的非线性变换可以显着提高学习表征的质量；以及（3）与监督学习相比，对比学习受益于更大的批次大小和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上显著优于以前的自监督和半监督学习方法。在SimCLR学习的自监督表征上训练的线性分类器达到了76.5%的top-1准确率，比之前的最先进技术提高了7%，与监督ResNet-50的性能相匹配。在仅使用1%的标签进行微调时，我们达到了85.8%的top-5准确率，优于使用100倍标签的AlexNet。

引用本文

BibTeX
@InProceedings{pmlr-v119-chen20j, title = {视觉表征对比学习的简单框架}, author = {Chen, Ting and Kornblith, Simon and Norouzi, Mohammad and Hinton, Geoffrey}, booktitle = {机器学习国际会议 Proceedings of the 37th International Conference on Machine Learning}, pages = {1597--1607}, year = {2020}, editor = {III, Hal Daumé and Singh, Aarti}, volume = {119}, series = {机器学习研究会议论文集 Proceedings of Machine Learning Research}, month = {13--18 Jul}, publisher = {PMLR}, pdf = {https://pmlr.com.cn/v119/chen20j/chen20j.pdf}, url = {https://pmlr.com.cn/v119/chen20j.html}, abstract = {本文提出SimCLR：一个用于视觉表征对比学习的简单框架。我们简化了最近提出的对比自监督学习算法，而无需专门的架构或记忆库。为了理解对比预测任务能够学习有用表征的原因，我们系统地研究了我们框架的主要组成部分。我们表明：（1）数据增强的组合在定义有效的预测任务中起着关键作用；（2）在表征和对比损失之间引入可学习的非线性变换可以显着提高学习表征的质量；以及（3）与监督学习相比，对比学习受益于更大的批次大小和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上显著优于以前的自监督和半监督学习方法。在SimCLR学习的自监督表征上训练的线性分类器达到了76.5%的top-1准确率，比之前的最先进技术提高了7%，与监督ResNet-50的性能相匹配。在仅使用1%的标签进行微调时，我们达到了85.8%的top-5准确率，优于使用100倍标签的AlexNet.} }
Endnote
%0 会议论文 %T 视觉表征对比学习的简单框架 %A Ting Chen %A Simon Kornblith %A Mohammad Norouzi %A Geoffrey Hinton %B 机器学习国际会议 Proceedings of the 37th International Conference on Machine Learning %C 机器学习研究会议论文集 Proceedings of Machine Learning Research %D 2020 %E Hal Daumé III %E Aarti Singh %F pmlr-v119-chen20j %I PMLR %P 1597--1607 %U https://pmlr.com.cn/v119/chen20j.html %V 119 %X 本文提出SimCLR：一个用于视觉表征对比学习的简单框架。我们简化了最近提出的对比自监督学习算法，而无需专门的架构或记忆库。为了理解对比预测任务能够学习有用表征的原因，我们系统地研究了我们框架的主要组成部分。我们表明：（1）数据增强的组合在定义有效的预测任务中起着关键作用；（2）在表征和对比损失之间引入可学习的非线性变换可以显着提高学习表征的质量；以及（3）与监督学习相比，对比学习受益于更大的批次大小和更多的训练步骤。通过结合这些发现，我们能够在ImageNet上显著优于以前的自监督和半监督学习方法。在SimCLR学习的自监督表征上训练的线性分类器达到了76.5%的top-1准确率，比之前的最先进技术提高了7%，与监督ResNet-50的性能相匹配。在仅使用1%的标签进行微调时，我们达到了85.8%的top-5准确率，优于使用100倍标签的AlexNet。
APA
陈婷，Kornblith, S., Norouzi, M. & Hinton, G. (2020)。视觉表征对比学习的简单框架。机器学习国际会议 Proceedings of the 37th International Conference on Machine Learning, in 机器学习研究会议论文集 Proceedings of Machine Learning Research 119:1597-1607 可从 https://pmlr.com.cn/v119/chen20j.html 获取。

相关材料