什么是迁移学习？

您用于促进 TL 的策略将取决于您正在构建的模型的域、需要完成的任务以及训练数据的可用性。

转导迁移学习

转导迁移学习涉及将知识从特定的源域转移到不同但相关的目标域，主要重点放在目标域。当目标域中标记的数据很少或根本没有时，它特别有用。

转导迁移学习要求模型使用先前获得的知识对目标数据进行预测。由于目标数据在数学上与源数据相似，因此模型可以更快地找到模式并执行。

例如，考虑采用经过产品评论训练的情感分析模型来分析电影评论。源域（产品评论）和目标域（电影评论）在上下文和细节上有所不同，但在结构和语言使用上有相似之处。该模型很快学会将其对情感的理解从产品域应用到电影域。

归纳迁移学习

归纳迁移学习是指源域和目标域相同，但模型必须完成的任务不同。预训练模型已经熟悉源数据，并且可以更快地训练新功能。

自然语言处理（NLP）就是归纳迁移学习的一个例子。模型在大量文本上进行预训练，然后使用归纳迁移学习对情感分析等特定功能进行微调。同样，像 VGG 这样的计算机视觉模型在大型图像数据集上进行预训练，然后进行微调以开发目标检测。

无监督迁移学习

无监督迁移学习使用类似于归纳迁移学习的策略来开发新能力。但是，当源域和目标域中都只有未标记的数据时，可以使用这种形式的迁移学习。

当被要求执行目标任务时，该模型会学习未标记数据的共同特征，以便更准确地进行泛化。如果获取标记的源数据具有挑战性或成本高昂，则此方法非常有用。

例如，考虑在交通图像中识别不同类型的摩托车的任务。最初，该模型是根据大量未标记的车辆图像进行训练的。在这种情况下，模型独立确定不同类型的车辆（例如汽车、公共汽车和摩托车）之间的相似之处和区别特征。接下来，向模型介绍少量特定的摩托车图像。与以前相比，模型性能显著提高。