无监督的视觉表示学习在计算机视觉研究中仍然是一个很大程度上未解决的问题。在最近提出的用于无监督学习视觉表示的方法中，一类自我监督技术在许多具有挑战性的基准上实现了卓越的性能。已经研究了大量的自我监督学习的前提任务，但其他重要的方面，如卷积神经网络（CNN）的选择，并没有得到同等的关注。因此，我们重新审视了许多以前提出的自我监督模型，进行彻底的大规模研究，结果发现了多个关键的问题。我们挑战了自我监督的视觉表现学习中的一些常见实践，并观察到CNN设计的标准配方并不总是转化为自我监督的表征学习。作为我们研究的一部分，我们大大提高了先前提出的技术的性能，并且大大优于以前发布的最先进的结果。