Learning Transferable Visual Models From Natural Language Supervision
link
CLIP 全称 Contrastive Language-Image Pre-training
TL;DR
一种使用图文对做预训练的方法，影响力：打破传统人工标准类别Label的预训练方式。
Method
训练阶段：将图文样本对分别过Encoder抽取特征，一个大小为N的Batch内，属于同一组图文对为正样本对共N组，不同图文组成样本对为负样本共N^2 - N组，以此构建对比学习Loss。
推理阶段：将目标测试集所有类别标签使用Text Encoder抽取Embedding特征，图像特征用KNN来预测对应标签。
Code
论文中伪代码看得不是很明白，直接上源码：open_clip
Q：为什么需要算两次cross_entropy_loss然后再相加？
A：为了让每个样本能在其它卡的Batch中获取到更多的负样本对。比如，Text做为query时将其它卡的图像特征都拿到做负样本对，Image作Query时也把其它卡上的Text特征作为负样本对，那么这个两个Loss的值自然就不一样了。
def get_logits(self, image_features, text_features, logit_scale):if self.world_size > 1:all_image_features, all_text_features = gather_features(image_features, text_features,self.local_loss, self.gather_with_grad, self.rank, self.world_size, self.use_horovod)if self.local_loss:logits_per_image = logit_scale * image_features @ all_text_features.Tlogits_per_text = logit_scale * text_features @ all_image_features.Telse:logits_per_image = logit_scale * all_image_features @ all_text_features.Tlogits_per_text = logits_per_image.Telse:logits_per_image = logit_scale * image_features @ text_features.Tlogits_per_text = logit_scale * text_features @ image_features.Treturn logits_per_image, logits_per_textdef forward(self, image_features, text_features, logit_scale, output_dict=False):device = image_features.devicelogits_per_image, logits_per_text = self.get_logits(image_features, text_features, logit_scale)labels = self.get_ground_truth(device, logits_per_image.shape[0])total_loss = (F.cross_entropy(logits_per_image, labels) +F.cross_entropy(logits_per_text, labels)) / 2return {"contrastive_loss": total_loss} if output_dict else total_loss
Experiment
ZeroShot效果已经超过FewShot Of其它SSL预训练方法了。
Conclusion
1.CLIP能充分利用大量图文样本作为图像与文本Encoder的预训练数据。
2.文章实验部分花了比较大篇幅证明了CLIP预训练的图像Encoder有SOTA级别的表征能力。
3.这种混合模态的预训练方式，在后续跨模态特征对齐过程中被广泛使用。
