Facebook的MoCo弥合了视觉任务中有监督和无监督学习之间的鸿沟

 
无监督的表示学习(允许AI系统自动发现分类原始数据所需的表示的一组技术)正在自然语言处理中得到广泛使用。但这尚未在计算机视觉中引起人们的注意，这也许是因为诸如图像分类之类的任务中的原始信号处于连续的高维空间中，而该空间并不适合人类交流。
这促使Facebook的研究人员奉行一种对比性损失法，即从图像数据中采样密钥(或令牌)，并由经过培训的编码器表示，该编码器经过训练以将查询与字典进行匹配。为此，他们开发了Momentum Contrast，可以预先训练可通过微调转移到任务的表示形式。在一项涉及七个与检测或分割相关的任务的测试中，以及来自Instagram的约10亿张照片的语料库，他们说，在某些情况下，MoCo超出了监督基准的“非平凡”利润率。
研究人员在一份详细说明他们工作的论文中写道：“这些结果表明，MoCo在许多计算机视觉任务中弥合了无监督和有监督的表示学习之间的差距，并且可以替代…有监督的预训练。”
MoCo巧妙地将上述密钥字典作为数据样本队列进行维护，从而使其能够重用已编码的密钥。这样一来，字典就可以比通常的更大，并且可以“灵活地”和“独立地”设置为超参数(即无需使用观测数据即可估算出的AI模型参数)。从某种意义上来说，这是一本动态词典，其样本会逐渐被替换，但研究人员注意到，它始终代表着所有数据的抽样子集。
为了评估MoCo，团队使用了ImageNet和Instagram-1B，这些数据集分别包含1000个类别的128万张图像和9.4亿个与ImageNet类别相关的公共Instagram图像。 (考虑到它的大小，也许不足为奇，在Instagram语料库上训练图像分类模型花了六天时间和64张图形卡。)他们报告说，在Instagram语料库上进行预训练的MoCo的性能始终优于ImageNet样本，表明它在非常适合大型和相对未整理的数据。
研究人员写道：“ MoCo在很大程度上消除了在多视觉任务中无监督和有监督的表示学习之间的差距。” “除了简单的实例区分任务之外，还可以将MoCo用于诸如掩盖自动编码之类的前置任务，例如在语言和视觉方面。我们希望MoCo在涉及对比学习的其他借口任务中会有所帮助。”