RNC：通过排名对比学习改进回归算法的鲁棒性和泛化能力

一 本文概要

回归问题在现实世界中非常常见和基础，涉及各种任务和领域。比如，通过人的外貌来估计年龄、通过人的生理信号来预测健康状况，或者通过摄像头图像来检测注视方向等等。深度回归模型通常以端到端的方式学习，但它们并没有明确地强调对回归问题的特定表示。因此，学习到的表示通常是碎片化的，无法很好地捕捉样本顺序的连续性，导致在各种回归任务中表现不佳。为了解决这个问题，本文提出了一种名为Rank-N-Contrast（RNC）的框架，通过比较样本在目标空间中的排名来学习连续的回归表示。RNC确保学习到的表示按照目标顺序进行排列，这不仅能够提供更好的性能，还大大提高了鲁棒性、效率和泛化能力。

二 背景知识

回归学习是一种机器学习方法，用于解决预测连续数值的问题。深度学习在回归任务中取得了很大的成功。在回归学习中，模型的预测结果通常通过端到端的方式训练，以使其尽可能接近目标值。常用的回归损失函数包括L1损失、均方误差(MSE)损失和Huber损失等。过去的研究还提出了其他几种变体方法。有一种方法将回归问题转化为分类任务，将数值范围划分成小的区间，并使用分类算法进行预测。另一种方法将回归看作是有序分类问题，使用有序阈值和多个二元分类器进行预测。最近的研究还提出了一种通过正则化嵌入空间来解决回归问题的方法，包括建模特征空间的不确定性、鼓励高熵特征空间以及针对不平衡回归问题的特征正则化等。

表示学习是机器学习中的一个关键问题，通常在分类任务中进行研究。对比学习是一种自监督表示学习技术，最近变得很流行。我们的方法将对比学习中的SupCon技术引入到回归任务中，同时考虑了标签的连续性特点，为回归任务提供了一种简单而有效的方法。

三 本文方法

面对回归任务，我们需要训练一个神经网络模型来预测输入数据的目标值。为了提高模型的性能，我们采用了数据增强和表示学习的方法。在数据增强过程中，我们对输入数据进行了随机的增强操作，生成了两个视图的批次。每个视图都是通过对原始输入进行不同的增强操作得到的。同时，我们还将每个输入的标签复制到对应的增强数据中。

接下来，我们将增强后的批次输入到特征编码器中，获得每个增强数据的特征嵌入。特征嵌入是对数据进行了压缩和表示的向量形式。然后，我们使用表示学习阶段来利用这些特征嵌入。在这个阶段，我们冻结特征编码器，并使用回归损失来训练预测器。回归损失可以是例如L1损失，用于衡量预测值与真实值之间的差异。

为了使嵌入空间中的距离与标签距离的顺序一致，我们提出了一种称为Rank-N-Contrast（LRNC）损失的方法。Rank-N-Contrast（LRNC）损失通过比较正样本对和负样本对的相似性，强制要求模型学习到特征表示，在嵌入空间中保持与标签距离的顺序关系。。我们使用一个温度参数来调整对比的程度。具体而言，我们通过计算样本之间的相似性度量和归一化概率来定义每个样本的LRNC损失。这样，我们可以通过最大化样本在与其他样本的标签距离方面的排名来增加模型学习到的特征的有用性。最终，我们将所有样本的LRNC损失求平均，作为最终的损失函数。

Rank-N-Contrast损失是一种适用于连续有序样本的回归感知表示学习方案。它通过对比样本的特征嵌入之间的相对排名，使嵌入空间中的距离与标签距离的顺序一致。这种损失函数有助于提取有序样本的有用特征，并可以用于回归任务中。

图3展示了使用LRNC损失和L1损失进行训练的模型在温度回归任务中得到的特征相似性矩阵的可视化。该矩阵展示了特征之间的相似性，其中更高的值表示更相似的特征，较低的值表示较不相似的特征。使用LRNC损失训练的模型展现出比使用L1损失更明显的模式，说明LRNC损失有助于学习到特征之间的内在顺序关系。

四 实验分析

4.1 实验数据

实验部分在五个不同的回归数据集上进行了广泛的实验，涵盖了计算机视觉、人机交互和医疗保健等多个领域。这些数据集包括AgeDB、IMDB-WIKI、TUAB、MPIIFaceGaze和SkyFinder。

4.2 实验分析

实验部分进行了广泛的比较和评估，与其他回归方法和表示学习方法进行对比。我们实现了七种常用的回归方法和三种先进的表示学习方法，并在多个数据集上进行了测试。对于回归方法，我们使用不同的损失函数和技术来训练模型。我们的方法RNC在所有数据集上表现出色，比其他方法都要好。我们还发现，将RNC结合到表示学习中，可以降低所有基线方法的预测误差。
与表示学习方法的比较显示，RNC也优于最先进的方法。这些方法在学习表示时使用了不同的技术，但RNC仍然能够取得更好的性能。最后，我们还将RNC与最先进的回归学习方法进行了比较，发现RNC在所有数据集上都实现了最先进的性能。总的来说，RNC是一种有效的回归方法，可以在多个领域和数据集上取得出色的性能。

五 总结展望

本文提出了一种名为Rank-N-Contrast（RNC）的回归框架，该框架通过对样本进行排名并进行相对对比来学习连续的表示。实验证明了RNC在各种实际任务和数据集上的出色性能。与其他回归方法和表示学习方法相比，RNC表现更好，具有更好的数据效率、对损坏和虚假目标的鲁棒性，以及对未知目标的泛化能力。

未来的研究可以进一步探索RNC的潜力和应用。可以考虑将RNC应用于更多的回归任务和领域，以验证其在不同领域的通用性。此外，可以进一步改进RNC框架，以提高其性能和效率。还可以探索RNC与其他机器学习方法的结合，以进一步提升回归任务的性能。