(a)：Mask R-CNN框架

• 目标检测和phrase grounding的数据集就都可以拿来训练
• 对于基础类 和其它各种类，可以都构建到 prompt 短语中一起检测，更加的灵活，可以方便的将任务迁移到开放式目标检测任务当中。
  
  • (a)：Mask R-CNN框架。

    DeepLabv3+(Xception-65-JFT) 在PASCAL VOC上 Mean IoU已经达到了89，
  ViT-Adapter-L(Mask2Former, BEiT pretrain)在PASCAL Context上 Mean IoU达到了68.2。最后训练出来的模型GLIP-L，直接以 zero-shot的方式在COCO和LVIS上进行推理，mAP分别达到了 49.8和26.9，可见其性能非常的强。

  • groudning模型的输入是短语、对于目标检测和Vision grounding而言，定位部分都差不多，二者的区别主要在于如何计算分类loss。
  • 数据增强只使用图片的随机剪裁，这是因为数据集非常大。

    素描数据集很少，学到的种类和风格不够丰富。

  3.2.5 对比实验

  1. COCO数据集结果对比。这样就借助了刚刚提到的CLIP的稳健性，即无论在原始自然图像上还是简笔画上都能很好的抽取特征。弱监督的在Instagram上训练的模型、
     • 右侧teacher分支：将M个proposalsresize到比如224×224的尺寸，然后输入预训练好的CLIP-image-encoder（冻结，不参与训练，保证抽出来的特征和CLIP一样好）得到M image embeddings
     • 左侧student分支：和ViLD-text分支前面的结构一样，输入M个proposals得到M个region embeddings
     • 计算region embeddings和 image embeddings的L1 loss来进行知识蒸馏，让检测器学习 CLIP 提取的特征。

         比如下图，浅层的时候学习到的还是一些五颜六色的块，到深层大象、vision Caption和VQA任务。然后用一个可微调光栅化器直接针对基于CLIP的感知损失，优化曲线参数。
         由于训练数据量和模型计算量都很大，训练效率成为一个至关重要的因素。比如输入“一辆印有odwalla的卡车”，就真的在视频中找到了这辆卡车（CLIP把这句话变成文本特征，然后将视频中每一帧都当成视觉特征，然后一帧帧的去和文本特征做对比，然后挑出相似性最高的那一帧）。
       

       1.4 与人类的差异（略）

       1.5 数据重叠分析

         CLIP能实现这么好的zero-shot性能，大家很可能质疑CLIP的训练数据集可能包含一些测试数据集中的样例，即所谓的数据泄漏。
       

     • 摆脱有监督训练的数据集
         之前也有一些相关工作，但都是收集一些素描数据集（sketch datasets）进行训练，而且抽象程度也是被固定的。但是由于模型还不了解基础类CB之外的其他语义内容（X新类别CN），因此直接做 zero-shot 的效果不会很好。
     • Spatial Regularization Blocks是本文提出的一个模块。安全。因为CLIP虽然是多模态模型，但它主要是用来训练可迁移的视觉模型。

     • 除了与图形配对的文本本身，还将文本中的名词提取出来，按照类似 CLIP 中的方法生成 prompt （如 “A photo of a {tree}.”），与某个图像特征计算对比损失，见原文 Figure 3；
       

     • 消融实验中Group tokens个数选择64,8的组合效果最好
       

     2.2.3 Group tokens可视化

       为了验证加入的Group tokens、这些文本和图片分别通过Text Encoder和Image Encoder输出对应的特征。

     如何用CLIP实现zero-shot分类？
       这里我们给出了一个基于CLIP的一个实例（参考官方notebook），这里任务共有6个类别：“dog”, “cat”, “bird”, “person”, “mushroom”, “cup”，首先我们创建文本描述，然后提取文本特征：

     # 首先生成每个类别的文本描述labels =["dog","cat","bird","person","mushroom","cup"]text_descriptions =[f"A photo of a {label}"forlabel inlabels]text_tokens =clip.tokenize(text_descriptions).cuda()# 提取文本特征withtorch.no_grad():text_features =model.encode_text(text_tokens).float()text_features /=text_features.norm(dim=-1,keepdim=True)

       然后我们读取要预测的图像，输入Image Encoder提取图像特征，并计算与文本特征的余弦相似度：

     # 读取图像original_images =[]images =[]texts =[]forlabel inlabels:image_file =os.path.join("images",label+".jpg")name =os.path.basename(image_file).split('.')[0]image =Image.open(image_file).convert("RGB")original_images.append(image)images.append(preprocess(image))texts.append(name)image_input =torch.tensor(np.stack(images)).cuda()# 提取图像特征  withtorch.no_grad():image_features =model.encode_image(image_input).float()image_features /=image_features.norm(dim=-1,keepdim=True)# 计算余弦相似度（未缩放）similarity =text_features.cpu().numpy()@ image_features.cpu().numpy().T

       进一步地，我们也可以对得到的余弦相似度计算softmax，得到每个预测类别的概率值，注意这里要对相似度进行缩放：

     logit_scale =np.exp(model.logit_scale.data.item())text_probs =(logit_scale *image_features @ text_features.T).softmax(dim=-1)top_probs,top_labels =text_probs.cpu().topk(5,dim=-1)

       得到的预测概率如下所示，可以看到6个图像，CLIP模型均能够以绝对的置信度给出正确的分类结果：
     

     1.3.2 Prompt Engineering and Ensembling

     1. Prompt Engineering

       作者还验证了文本描述时采用prompt的有效性（精度提升1.3%）。
     比如VirTex和ICMLM都只训练了十几万的图片；ConVIRT非常类似CLIP，但只在医疗图像上做了预训练。

  2. 对于普通的物体分类任务，CLIP可以很好的做zero-shot迁移，例如车、ImageNet-A包含很多对抗样本

  CLIP和基于ImageNet上有监督训练的ResNet101，在ImageNet验证集都能达到76.2%，但是在剩下的五个数据集上，ResNet101性能下降得非常厉害，但是CLIP能依然保持较大的准确度。

3.3.3 zero-shot分类效果对比（ResNet-50）

  为了测试CLIP的zero-shot分类的效果怎么样，作者将在27个数据集上的分类效果做成了对比图，下图就是CLIP与基于ResNet-50做Linear Probe的对比。但正因如此，这种受限的监督信号限制了模型的泛化性和可用性。CLIPasso、金字塔池化以及U-Net的结构，从而获取更多的上下文信息和多多尺度信息；

text =clip.tokenize(["plane","dog","a cat","bird","red_envelogp"]).to(device)Label probs:[[0.004374220.004434890.001224110.00393530.98603153]]

text =clip.tokenize(["plane","red","envelogp","bird","red_envelogp"]).to(device)Label probs:[[0.002599080.394363760.014817570.002338280.5858813]]

3. 推理展示
上图右侧作者展示了两个非常难的任务：

• 检测两个针管和一瓶疫苗。我们只能依赖于Open-vocabulary的目标检测模型，来把这些corner case都处理的很好。
    类别单词变成句子，有prompt engineering和prompt ensemble两种方法，进一步提高模型准确率，在论文后面会讲到

  1.1.3 模型效果

  1.1.3.1 对自然分布偏移的鲁棒性

    如下图所示，作者还比较了zero-shot CLIP与现有ImageNet模型在自然分布偏移上的性能来验证它的鲁棒性。肤色。
    这里作者还把自注意力的图和最后的采点分布图可视化了出来。

  通过下图可以看到，比起GLIPv1，GLIPv2加了一些text encoder的训练任务，使其表征更加丰富。然后在这些输出的文字特征和图片特征上进行对比学习。

1.2 方法

1.2.1 自然语言监督的优势

使用自然语言监督信号来训练视觉模型，有两个最重要的优势：

• 不需要采用特别的标注数据，扩展性更强。
  可以看到GLIP模型直接做 zero-shot 检测的mAP已经达到了 49.8 ，如果再在 COCO 上进行微调，GLIP的 结果能够超过当前最好的一些有监督方法。
    在文章中，作者观察到不管图片风格如何，CLIP都能把物体的视觉特征抽取的很好 ，也就是非常的稳健，由此才奠定了CLIPasso的工作基础。代码

• 作者通过现将 3D 点云投射为多张 2D 的深度图，实现了在3D图上利用 2D 图像数据训练 的CLIP 模型。

  推理时，只使用类别标签作为文本描述效果并不够好，原因有二：

  1. 词语存在歧义性
     如果我们直接采用类别标签作为文本描述，那么很多文本就是一个单词，缺少具体的上下文，并不能很好的描述图片内容。比如在CLIP出现的一个半月之后，谷歌提出的ViLD（见本文3.1章节）基于CLIP实现了Open-vocabulary的物体检测，其主体架构如下所示，其基本思路和zero-shot分类相似，只不过这里是用文本特征和ROI特征来计算相似度。

  2. 第二行：ViLD同时检测基础类和新类，并不会降低基本类别的检测性能。
       相似度是计算文本特征和图像特征的余弦相似性cosine similarity
       为了训练CLIP，OpenAI从互联网收集了共4个亿的文本-图像对，论文称之为WIT(Web Image Text。使用CLIP之后，在现有检测框上，不需要额外标注，就可以检测出新的类（图中红色标识类）。

• ViLD-text点积计算公式：
  
• I表示图片，φ(I)表示抽取图片特征，r为proposals。

  4.1.3 模型结构

    作者对训练方式、黑色虚线是理想的鲁棒模型，是线性的、
    在本文的实验中，将 $A{P}_f,A{P}_c$作为模型见过的基础类（共 886 类），$A{P}_r$作为新类（共 337 类，模型没有见过，所以可以做zero-shot检测）
  

    可以看到 ViLD模型在新类上的 AP 大幅领先基线模型Supervised-RFS（RFS是尽量采样尾部的类，用于解决长尾问题，所以这是一个很强的极限模型），并且是做的zero-shot检测。CLIP Draw

• 多模态：VL Downstream
• 其他：depthCLIP、加入一个Grouping Block来完成 grouping ，将图像块 token 分配到各个 group token 上，合并成为更大的、
• 紫色曲线说明：每类的训练样本只有1个或2个的时候，效果还不如zero-shot CLIP；但当每类的训练样本增加到8个或16个的时候，效果则超越了zero-shot CLIP。CLIP视频理解（略）

    这部分包括CLIP4clip和ActionCLIP，在《CLIP 改进工作串讲（下）》中有讲解，我对这一块暂时不感兴趣，就不写了。

• 横坐标：每个数据集每个类别里，用了多少个标注样本进行Linear Probe的分类器训练。
    这也说明CLIP学习到的视觉特征，已经和语言产生了很强的联系。

    简笔画的抽象程度可以通过改变笔画数量来控制，其生成的草图展示了多层的次抽象性，同时保持了可识别性、

• ImageNetV2是从ImageNet数据集中筛选出新的数据集，其更接近原来的测试集。这也不论是自然的香蕉还是动漫里的香蕉、
• 为了加速模型训练，在训练 ViLD-image 时先用 CLIP 模型提取好图像区域特征，保存在硬盘中，在训练时直接从硬盘读取即可。像这样在统一框架下囊括更多任务更多数据集更多模态也是当前的一种趋势，比如去年的OFA、LSeg是2022年1月10号发表在ICLR的文章。loss选择和简笔画初始设置都有所改进，才达到最终非常好的效果。例如coco有80个类别标签，将80个标签用逗号连接，并在短语前加“Detect：”来组成短句。因此LSeg还是需要手工标注的分割掩模（segmentation mask）进行训练。所以有监督的在ImageNet上预训练的模型，效果比CLIP好是可以预见的
• 右图是在27个数据集上的平均结果。

    结论： GroupViT图片分割做得好（segmentation mask生成的好），但是语义分割做的不够好，这是由于CLIP这种对比学习的训练方式，对于明确语义物体信息能学的很好；但是对于背景这种语义比较模糊类别很难识别，因为背景可以代表很多类。从标题可以看出，其监督信号来自文本而非segmentation mask。

• 跨样本匹配的时候，图片A 当中的‘人’这个物体，和图片B 对应的prompt 当中的 ‘person’类别，也应该是匹配的
  

3.3.3 模型结构

模型总览图如下：

3.3.4 模型效果

1. 我们将GLIPv2和下表中当前的目标检测和vision-language预训练模型，在8个下游任务上进行对比。
     例如在ImageNet数据集上，CLIP模型在不使用ImageNet数据集的任何一张图片进行训练的的情况下，最终模型精度能跟一个有监督的训练好的ResNet-50打成平手（在ImageNet上zero-shot精度为76.2%，这在之前一度被认为是不可能的）。所以扩大数据规模是不行了，需要在数据计算和高效性上需要进一步提高。
     因为作者想做的就是用最简单的素描，几笔就把物体描述出来，同时大家又能认出来，这样就必须保证语义上和结构上都能被识别才行。
2. 语音 AudioCLIP：暂不感兴趣
3. 3D PointCLIP：
   • 论文： PointCLIP: Point Cloud Understanding by CLIP、ActionCLIP
   • 图像生成：VQGAN-CLIP、

   3.1.3 模型总览

   下面快速过一下模型总览图：
   

   • 训练：

     • 图片通过RPN网络得到proposals。
       • 只需要判断图文是否配对，进一步简化了训练任务，训练效率一下子提升4倍（绿色线）
       • 训练任务更加合理。

         • 比如在做物体检测时，有一个类别是remote（遥控器）。而之前的模型，是永远不会预测出ImageNet1000个类之外的类的，这也是CLIP最吸引人的地方。

对比损失的计算方法：

• 对一个batch 当中所有的pair ，抽取其未交互的图片特征和文本特征$\stackrel{\circ }{O}=En{c}_V(Img),\stackrel{\circ }{P}=En{c}_L(Text)$
• 计算一个batch内，所有图片特征和文本特征的相似度$S_{ground}^{batch}[i,j]=\stackrel{\circ }{O}{{}_{}}^i(\stackrel{\circ }{P}{{}_{}}^j{)}^T$，这样就可以通过跨图像匹配的方式，使得每一个object/token 都能够看到更多的负样本。

2. 目标函数
  生成的简笔画有两个要求，即在语义和结构上和原图保持一致。与 CLIP实现 zero-shot 的方式类似，LSeg通过类别 prompt 作为文本输入，然后计算相似度，也实现了zero-shot 语义分割。

  在可视化期刊distill上发表的博客《Multimodal Neurons in Artificial Neural Networks》中，作者对CLIP模型的对抗性攻击、由此可见整个GLIP都是用有监督的方法进行训练的。这说明对于一些难的数据集来说，有一些训练样本还是非常有必要的。

Vision grounding分类损失计算：（其实和ViLD text分支一模一样）
$$O=En{c}_I(Img),P=En{c}_L(Prompt),S_{ground}=O{P}^T$$

1. 表示图片编码器$En{c}_I$处理img之后得到N region embeddings，即$O\in {\mathbb{R}}^{N\times d}$；
2. 文本编码器$En{c}_L$（比如BERT）处理Prompt得到text embedding，即$P\in {\mathbb{R}}^{M\times d}$；
3. 图像特征O和文本特征P相乘得到相似度结果$S_{ground}\in {\mathbb{R}}^{N\times M}$，即论文中说的region-word aligment scores。

  下图a展示了显著性初始化生成结果（Proposed ）和随机初始化的生成结果（Random）的效果对比，可以看到Proposed的脸部特征更接近原图，而且头发更加简约。GoldG和图片文本对Cap24M数据集一起训练，此时数据集已经非常大了，足以训练出一个很强的模型。

重复上述过程：添加新的 Group tokens ${\mathbf{g}}_i^2$（8×384），经过 3 层 Transformer Layers 的学习之后，再次经过grouping block 分配，得到 ${\mathbf{s}}_i^3$（8×384） 。在大多数数据集上，prompt ensembling都能够提升模型性能。可以看到采点分布图已经和最终的简笔画图像非常接近了。再配合伪标签的技术来扩增数据，使得训练的数据量达到了前所未有的规模（3M人工标注数据和24M图文对数据）。基本结构和所画对象的基本视觉成分。

  使用自然语言监督进行图像表示学习的工作很少，并且效果往往不如有监督模型，主要有两个原因：

1. 早期nlp模型不太好学。然而在ImageNet上预训练的模型，在ImageNetV2上的测试性能下降了不少（76.2→64.3）
2. 右图中 ImageNet Sketch都是素描的图片、

3.2.1 前言

1. 研究动机：Open-vocabulary Object Detection是必要的

  目标检测和分割一样，标注数据集都很贵，对于边边角角的类和层出不穷的新类，我们没有办法训练一个模型把这些都检测的很好。

2.2 GroupViT

• 论文《GroupViT: Semantic Segmentation Emerges from Text Supervision》、
    从图中可以看到，CLIP在21个数据集上的性能都超过了EfficientNet，并且很多数据集都是大比分超过。Transformer、淋巴结肿瘤检测等需要特定领域知识的分类任务，CLIP并没有预训练到这些标签信息。比如下面例子中，输入“Mohawk hairstyle”，就能改变奥巴马的发型；输入“Without makeup”，就可以一键卸装了；输入“Cute cat”（可爱的猫），猫的眼睛就睁大了。

  1.3 实验

  1.3.1 zero-shot 迁移

    研究zero-shot的动机：之前的自监督或有监督训练的模型（MOCO、通道数和特征图的高宽，C一般取512或者768。
  

  2. Deep Fusion层

  • 图片编码器是DyHead（L层），第一层输出图片特征表示为$O^0$
  • 文本编码器是预训练好的BERT（L层），第一层输出文本特征表示为$P^0$
  • X-MHA表示跨模态多头注意力模块。如果只是单模态的特征，无论是类似MOCO还是MAE，都很难做到这一点（zero-shot必须要加入文字特征才能做到）。

1.3.5 Linear probe CLIP对比

  对比完了zero–shot和few-shot，下面自然就是拿下游任务的所有训练集来训练，进行效果对比了。CLIP

4.1.5 局限性

1. 输入图片有背景时，生成的效果大打折扣。
   实验结果表明，单个 GLIPv2 模型（所有模型权重共享）在各种定位和理解任务上实现了接近 SoTA 的性能。

2. 作者在这里的做法就是在ViLD-image开始训练之前，利用RPN网络预先抽取M pre-complete proposals，然后按照图中顺序算好 M image embeddings。

3. out-of-distribution泛化差
   对于自然图像的分布偏移，CLIP还是相对稳健的。SimCLR v1/v2、huggingface/transformers

4. 博文《Group ViT》、



• 初始定义一些贝塞尔曲线$s_1$到$s_n$，然后扔给光栅化器Rasterizer，就可以在二维画布上绘制出我们看得到的图像。
• 对比模型有有监督的EfficientNet、
  

    下面的例子中，如果用传统的目标检测算法的话，模型只会判断这些物体都是玩具，也就是图中蓝色的基础类。

• GLIP-L：backbone为Swin-L模型，然后同时使用FourODs（目标检测有监督训练中能用的所有的数据集）、这样对不同的图片上不同复杂程度的物体，都能很好的自动抽象。更具有高层语义信息的 group，即Segment Token（维度64×384，相当于一次聚类的分配）。作者在这里选择Linear probe CLIP的方式。rare，标注数依次递减，也就是下图中的$A{P}_f,A{P}_c,A{P}_r$。
• 对比学习目标函数中的超参数τ，设置成可学习的标量，在训练中自动优化，而不用慢慢调参（还是因为数据集太大，训练很贵）。用了伪标签的EfficientNet、

  2.1.2 模型框架

  
    如上图 4 所示，模型整体看来与 CLIP模型非常相似，只是将单个的图像文本特征换成语义分割中逐像素的密集特征。新思路，一般可以直接用过来。CLIP利用多模态的对比学习，使得自然语言可以引导模型学习到视觉概念，从而实现非常灵活的zero-shot迁移（把分类问题转化为了跨模态检索问题）。0就相当于zero-shot了。计算 grouping token （64×384）与图像块 token （196×384）的相似度矩阵（64×196），将token分配到相似度最大的grouping token上面（聚类中心的分配）。

  • $L_s$：semantics loss，计算原图特征和简笔画特征，使二者尽可能相似。短语中名词对应的框和图片。如果标签是face,grass，狗会被检测为face。
  • 此分支监督信号不再是人工标注的数据，而是CLIP的图像编码，所以就不再受基础类CB的限制了，对于任何的语义区域都可以由 CLIP 抽取图像特征。比如大多数模型都只能预测已知的图像类别。（目标是最小化生成图像的CLIP encodings与文本提示之间的余弦距离）。所以在计算资源不足的时候可以试试这种跨界研究。所以我们不仅仅对图片和文字交互后的特征建模，也要对于图片和文本交互前的特征建模，类似loopiter。训练时可以学到language aware（语言文本意识）的视觉特征，从而在最后推理的时候能使用文本prompt得到任意你想要的分割结果。
    

    Cap24M就是24M伪标签数据。使用CLIP之后，就可以摆脱基础类的限制（Open-vocabulary Object），可以检测出新的类（图中红色标识），比如颜色和动物类别。可以通过输入文本直接找到视频中出现的对应物体。代码

  3.3.1简介

  
    GLIPv2和GLIPv1架构基本一样，只是融合了更多的任务和数据集。
  
    图b是本文的一种后处理操作。

  3.2.4 模型框架

  1. 总体框架

    如下图所示，由于所有数据集都是有标注的，所以模型是以有监督的方式进行训练。



  OpenAI是一家GPT化的公司，从GPT系列、这相当于，模型只要分割的准就行了，语义类别的预测是肯定准的。绿色曲线表示本文中使用Prompt engineering and ensembling的结果，蓝色曲线表示直接使用无提示上下文的类名的结果。CLIP 也能理解各种抽象妆容，比如烟熏妆，吸血鬼妆。这种提前定义好的标签集合，会大大简化问题本身（比如ImageNet固定的1000个类，COCO数据集固定80个类等等）。CLIP图文配对学习的方式，使其对物体特别敏感，对物体的语义信息抓取的非常好；而且还有出色的zero-shot能力，完全不用在下游任务上进行任何的微调，拿过来就可以直接用，所以就有了CLIPasso。今年的Unified-IO等等。比如定位任务不光有目标检测还有实例分割，Understanding任务包含了Vision grounding、

2.1.1 模型效果

  下图展示了LSeg的检测效果。任意内容的类别 prompt 来进行 zero-shot 的语义分割。后面论文中没有特别说明的情况下，进行对比实验的CLIP模型都是指这个。
  而如果想训练一个很强的Open-vocabulary的目标检测模型，就只能像CLIP一样，可以利用上亿规模的的数据集，而且还要把图片-文本对应关系和定位都学的很好。

• 训练：

  • 经过六层 Transformer Layers 的之后，学的差不多了。这种data-driven（数据驱动）的方式，有什么数据集就学出什么模型，所以最后生成的素描的形式和风格非常受限，违背了图像生成的初衷了。比如下图，通过设置不同的笔画数，可以对图像进行不同层次的抽象：
    
    1. 训练过程

      生成简笔画的方法不是直接做图到图的生成，而是使用图形学中的贝塞尔（贝兹）曲线来完成简笔绘画。GroupViT

  • 目标检测：ViLD、例如CLIP在MNIST数据集上精度只有88%，随便一个分类器都都能做到99%，可见CLIP还是很脆弱的。
  • 图像特征$e_r$分别和背景特征$e_{bg}$和文本特征做点积计算相似度，最后得到 ViLD-text模型输出z(r)（logics）。

    六、其模型结构如下图所示。

4.1.6 结论

  CLIPasso可以适应任意语义类别的输入图像，而不再局限于数据集中固有的几个类别；并且可以做到对物体不同程度的抽象，同时保持和原图的语义和结构的一致性。进一步地，可以将这些相似度看成logits，送入softmax后可以到每个类别的预测概率。
推理过程中，最大相似度也可能很低，比如0.2；为了提高前景类的分割性能，作者设定了相似度阈值，但是因为背景类干扰问题，这个阈值很难设定好。墙壁甚至地板和天花板这种极为相似的目标也被完美的分割开来

  值得一提的是，由于 CLIP 类的模型实质上都是通过计算图文相似度来实现分类或分割的，因此 ‘other’ 类的类别 prompt 文本实际可以是任何无意义的文本，如 ‘me’，‘a’，‘an’ 等，只要与目标类别不要太接近即可。

3.1.2 模型结构

  ViLD 方法的研究重点在两阶段目标检测方法的第二阶段，即得到提议框（proposal）之后。WIT质量很高，而且清理的非常好，其规模相当于JFT-300M，这也是CLIP如此强大的原因之一（后续在WIT上还孕育出了DALL-E模型）。比如在ImageNet-A数据集上，ResNet101精度只有2.7%，而CLIP能达到77.1%。

CLIP学习到的是图像结合文字的多模态特征，从而实现灵活的zero-shot迁移。然后和$R_1$、损失分为定位损失（回归损失）和分类损失。

总结：GroupViT 没有在ViT基础上加很复杂的模块，目标函数也和CLIP保护一致，所以其scale性能很好。

本文为什么又选择了CLIP？

1. 保持Semantically-Aware（语义感知）。但是简笔画和自然图像分布完全不同，无法判断CLIP是否能很好的工作。即更大模型更多数据，其性能会更好。

1.2.3 伪代码

# image_encoder - ResNet or Vision Transformer# text_encoder - CBOW or Text Transformer# I[n, h, w, c] - 输入图片维度# T[n, l] - 输入文本维度，l表示序列长度# W_i[d_i, d_e] - learned proj of image to embed# W_t[d_t, d_e] - learned proj of text to embed# t - learned temperature parameter#  分别提取图像特征和文本特征I_f =image_encoder(I)#[n, d_i]T_f =text_encoder(T)#[n, d_t]# 对两个特征进行线性投射，得到相同维度的特征d_e，并进行l2归一化，保持数据尺度的一致性# 多模态embedding [n, d_e]I_e =l2_normalize(np.dot(I_f,W_i),axis=1)T_e =l2_normalize(np.dot(T_f,W_t),axis=1)# 计算缩放的余弦相似度：[n, n]logits =np.dot(I_e,T_e.T)*np.exp(t)# symmetric loss functionlabels =np.arange(n)#  对角线元素的labelsloss_i =cross_entropy_loss(logits,labels,axis=0)# image lossloss_t =cross_entropy_loss(logits,labels,axis=1)# text lossloss =(loss_i +loss_t)/2# 对称式的目标函数

  在MOCO中，真实标签都是0，因为其正样本都是放在第一位，所以正样本对应的索引永远是0；但是在CLIP中，正样本都是在对角线上，即（$I_1,T_1$，$I_2,T_2$,…），所以真实标签为np.arange(n)。该模型还展示了在开放词汇目标检测任务上的强大的zero-shot和few-shot性能以及在 VL 理解任务上的出色的grounding能力。对于没有见过的图像类别，需要额外的信息才能识别。

  比如PASCAL VOC中相似度阈值是0.9或0.95，图片和文本的相似度取最大值且最大值大于0.9时，才会认为物体是这个类；否则认为是背景类。

2.1.3 实验结果

  作者将PascalVOC数据集和COCO数据集，都按照类别分成四份。

根据loss训练笔画参数，得到最终的模型输出。作者做了很多尝试，最终选择了对比学习：

• VirTex模型：预测文本，对应下图蓝色线Transformer Language Model
  • Image Encoder使用CNN模型，Text Encoder使用transformer模型，两个模型一起从头训练，任务是预测图片对应的文本（image caption）。
    

    1.1.4 导言

      现有的CV模型基本都是基于人工标注的数据集进行训练的，然后用来预测一组提前定义好的物体类别。局限性在于最后的聚类中心（Group Tokens）只有8类，所以一张图像中最多分割出八个目标。目前用户每次输入图片，还得考虑用几笔去抽象。
    

  所以做到这两点最直接的答案就是CLIP。

SOTA：state-of-the-art ，当前最好/最先进的模型

2. 下面是不同规格的GLIPv1/GLIPv2模型，在直接推理和 prompt tuning时的对比结果：（灰色表示训练时用了这个数据集，所以无法进行zero-shot推理）
   
3. 消融试验

• 左侧x轴表示使用不同数量的下游任务样本，y轴是13个数据集上的平均AP；
• 右侧是使用不同结构的loss时在 ODinW数据集上的的消融试验结果；
• zero-shot GLIPv2-T(48.5) 超过了5-shot DyHead-T (46.4)
• one-shot GLIPv2-H(61.3) 超过了用所有数据（ALL）进行有监督微调的DyHead-T (60.8).
  

四、

最终在27个数据集中，CLIP在16个数据集上都超越了有监督训练好的ResNet-50。这并非真正的zero-shot，而且无形中引入了偏见。前者算ViLD-text分支的交叉熵损失，后者算ViLD-image的蒸馏L1损失。这样每次新增一些类别，都需要重新收集数据，训练一个新的模型。在计算完像素级图文相似度后继续学习一些参数，可以进一步学习文本图像融合后的特征。然后通过Transformer Layer的自注意力来学习到底哪些patch属于哪些group token。

• 第一行：ViLD能够正确定位，并识别新的类别。但当给CLIP提供少量训练样本时，结果反而不如直接用zero-shot。如果预训练模型没有训练好的话，在下游任务上训练再久也很难优化到一个特别好的结果，所以用Linear probe能更准确的反映预训练模型的好坏。然后将这些bounding box全部作为GroundTruth（伪标签），这样就得到了24M的有监督数据。以及一些经典的有监督的baseline模型。
  
    上图横坐标表示模型算力，纵坐标表示在多个数据集上的平均分数。
• 基础类通过prompt得到文本，经过文本编码器得到文本编码$B_1$到$B_n$。

    在显著性区域采点，相当于你已经知道这里有个物体（语义更明确），或者已经相当于沿着物体的边界去绘制贝塞尔曲线了。
    假如模型输入的是n对图片-文本对，那么这n对互相配对的图像–文本对是正样本（下图输出特征矩阵对角线上标识蓝色的部位），其它$n^2-n$对样本都是负样本。而语义分割中一张图有多个目标，所以需要多个特征，也就是多个 group tokens。

    本文提出的CLIPasso，是一种可以在几何简化和语义简化的指导下实现不同程度抽象的物体速写方法。做到这一点的最简单方式就是知识蒸馏（Knowledge Distillation）。
    下图是毕加索的名画一头公牛，这个系列从第一张图画到最后，花了大概一年。为了验证这一点，作者做了 oracle 对比的实验。

    比如新增三轮车的图片时，只需要在文本部分也加上三轮车这个类别，模型很有可能直接zero-shot推理出图片属于三轮车这个类。如果二者描述的是同一物体，那么编码后的特征都是同一语义，其特征必然相近。伪标签等方式减少数据用量。

    所以本文的方法就是随机初始化一些贝塞尔曲线，然后经过不停的训练，更改这些点的位置，从而更改贝塞尔曲线，得到最终的简笔画。

    最终作者使用了80种模板来进行集成，每种模板使用了不同的形容词，来，描述不同的情境。

• 从结构图和公式可以看出，每一层输出的图文特征$O^i,P^i$都会在X-MHA中进行交互，交互后的特征和原特征相加之后一起输入到下一层进行编码，得到下一层的特征$O^{i+1},P^{i+1}$。

1.3.4 few-shot分类效果对比

  作者认为，这种特别难的任务，完全不给任何标签信息，有点强人所难了，不是很合理。即，CLIP的多模态特性（利用文本监督信号）为具体的任务构建了动态的分类器，使得模型不再受限于预先定义好的类别，更加具有通用性和可用性。训练时加入约束，融入背景类概念等等。
  输入图片必须是一个物体，且在纯白色的背景上，生成的效果才最好。后续改进可以是每个类设置不同阈值，或者使用可学习的阈值，或者是更改 Zero-Shot 推理过程、

  基于saliency（显著性）的初始化：将图像输入ViT模型，对最后的多头自注意力取加权平均，得到saliency map。素描的香蕉、CLIP图像生成

• 4.1 CLIPasso生成极简画
• • 4.1.1 前言：为何又是 CLIP？
  • 4.1.2 摘要
  • 4.1.3 模型结构
  • 4.1.4 实验结果
  • 4.1.5 局限性
  • 4.1.6 结论
• 4.2 DALL-E2（放到另一篇，后续补）

五、

Image Encoder：DPT结构（使用了ViT进行有监督训练的语义分割模型，结构就是ViT+decoder），backbone可以是ResNet或者ViT。正比例的。

2. prompt ensembling

  作者尝试了集成多个模板的效果，即在多个zero-shot分类器上进行集成，这些分类器使用不同的提示模板来构造不同的文本。

上面物体类别就是 Base categories（也叫CB，Class Base），和Mask R-CNN有监督训练的基础类一样，所以ViLD-text做的还是有监督训练。但如果直接喂给文本编码器，很可能被模型认为是遥远的意思。能够使得训练出来的模型能够扩展到 VQA / ImageCaption 任务上。而定位损失也是直接与GT box计算L1 损失。因为分割任务的数据集都比较小（10-20万），训练的话结果会不好。

1.1.3.3 CLIPDraw

论文《CLIPDraw: Exploring Text-to-Drawing Synthesis through Language-Image Encoders》

  这也是一个利用CLIP预训练模型指导图片的生成。

  使用上面的方式统一损失之后，就可以用grounding模型方法来预训练检测任务，从而使GLIP模型可以做zero-shot检测。下面改成这几个词试试：

text =clip.tokenize(["money","new year","red","envelogp","china"]).to(device)Label probs:[[0.014089940.0152310.054915810.002063370.91369987]]

  可以看到模型没有选择红色或者是信封，而是选择了和红包紧密结合的china这个概念，可见模型的相关语义还是学的很好。

基于SimCLRv2训练的ResNet50，

有监督训练的ResNet50。MAE、再经过一个MLP层变成${\mathbf{z}}^I$维的图片特征。这样就完成了文本和图像的特征融合，就可以进行zero-shot检测了。
一阶段得到的候选框proposals经过检测头得到 region embeddings，然后经过分类头得到预测的bounding box以及对应的类别。因为 detection的标签是one-hot的类别单词，而Vision grounding的标签是一个句子。按照原先的 loss 设计，图片中的人只能够做到和 ‘person’ 相似， 和 ‘cat” 不相似，但是没有办法和所有其它图片中各种各样的实体进行区分。

同一个词语在不同数据集中所表示的意思可能有所不同。

难以理解抽象/复杂概念
CLIP在一些更抽象或更复杂的任务上zero-shot表现并不好。

Text Embeddings加上分别和可学习的背景 embedding以及 region embeddings进行点积来计算图文相似度得到logics，然后计算logics和GT的交叉熵损失来进行训练。在标注了的1203 类中，有很多类只标注了几次，即罕见类，所以将各个类别分为 fequent、因为只有这样，自注意力图才更准，初始化效果才会好，而有了背景，自注意力就会复杂很多。其中2个数据集在重叠数据上表现更差。

CLIP：简化版的ConVIRT，基于对比学习。训练超大模型，可以参考来自OpenAI的博文：《How to Train Really Large Models on Many GPUs?》及对应的CSDN翻译。

  最终Text Encoder固定选择一个包含63M参数的text transformer模型，而Image Encoder采用了两种的不同的架构。

其他细节：

• 论文中选用的是ViT-Small，数据集是2900万图文对。稳健性等等都分析的非常透彻，非常值得一读，这其中就包括CLIP对简笔画的迁移问题。

  2. 其它数据集zero-shot效果
     下图是LVis 数据集上预训练的ViLD在PASCAL VOC和COCO数据集上zero-shot迁移效果，对比有监督训练的模型还是有一些差距。停车标识等等）输入CLIP图像编码器得到特征$I_1$、 博文《CLIP改进工作串讲（上）》

2.2.1 前言

  上一节讲的LSeg虽然能够实现 zero-shot 的语义分割，但是训练方式并不是对比学习（无监督训练），没有将文本作为监督信号来使用。Swin-Transformer

李沐论文精读系列三：MoCo、《神器CLIP：连接文本和图像，打造可迁移的视觉模型》

1.1 简介

1.1.1 前言

  CLIP是OpenAI在2021年2月发表的一篇文章，其全称为Contrastive Language-Image Pre-training，即一种基于对比文本-图像对的预训练方法。
  之所以选择Linear probe而不是微调，因为Linear probe只有最后一层FC是可以训练的，可学习的空间比较小，相比微调没那么灵活。

ResNet50是在ImageNet上用有监督的方式预训练好的

对比结果：

• 绿色 + 表示相比ResNet-50提升了多少，蓝色 - 表示相比ResNet-50降低了多少。也可以说，相对于之前的对比学习，CLIP只是将单模态的样本，换成了多模态的样本。最初是选择64个 group tokens（聚类中心），不大不小，后期可以合并。房子、

• $N,C,\tilde{H},\tilde{W}$分别是类别 个数（可变）、

• (d) ：ViLD-text 和 ViLD-image的合体
  为了训练简单，将M pre-complete proposals和N proposals一起输入检测头Head得到n+m个embedding，然后拆分为N region embeddings和M region embeddings。《CLIP学习笔记》、后续工作考虑如何提高few-shot的性能

1.7 demo

下面是复制自CLIP官网的一段代码，使用红包图片（不在ImageNet那1000个类里面）进行一下简单的测试：


importnumpy asnpimporttorchimportclipfromPIL importImagedevice ="cuda"iftorch.cuda.is_available()else"cpu"model,preprocess =clip.load("ViT-B/32",device=device)# 加载base模型image =preprocess(Image.open("red_envelogp.png")).unsqueeze(0).to(device)text =clip.tokenize(["plane","dog","a cat","bird"]).to(device)withtorch.no_grad():image_features =model.encode_image(image)text_features =model.encode_text(text)logits_per_image,logits_per_text =model(image,text)# 计算图文特征相似性probs =logits_per_image.softmax(dim=-1).cpu().numpy()# 和图片最相似的文本就是图片的类别print("Label probs:",probs)Label probs:[[0.31314860.31749140.087633720.28172636]]

  可以看到对于text给出完全不相关的类别，模型很困惑。

伪标签训练（self training）：

• 将所有目标检测任务和phrase grounding任务的数据集（一共3M）全部拿来做有监督训练，得到GLIP-T(C)模型。$R_2$进行蒸馏（计算L1损失）

推理：

• $image\stackrel{backbone+RPN}{\to }proposals\stackrel{RoIAlign+Conv}{\to }region-embeddings$
• $CN+CB\stackrel{prompt}{\to }Text\stackrel{Text-Encoder}{\to }text-embedding(B_1..B_n+N_1...N_k)$
• $class=argmax(region-embeddings\cdot text-embedding)$

3.1.4 实验

1. LVis 数据集 zero-shot 效果对比

  LVis 数据集图片采样自COCO数据集，但却是一个十分长尾的数据集。

2.2.4 实验

1. Comparison with Zero-Shot Baselines
   下表是和其它的一些 Zero-Shot 推理模型效果对比：
   
2. Comparison with Fully-Supervised Transfer

• 在PASCAL VOC 2012数据集上 ，Zero-Shot GroupViT（无微调）优于所有自监督预训练的ViT变体（有监督的微调）
• 在 PASCAL Context数据集上，Zero-Shot GroupViT的效果也和它们相当。

  1.1.3.2 StyleCLIP

  • 论文《StyleCLIP: Text-Driven Manipulation of StyleGAN Imagery》（ICCV2021）
  • 还有另一篇相关的：《StyleCLIPDraw: Coupling Content and Style in Text-to-Drawing Synthesis》

    顾名思义，这是一篇CLIP+styleGAN的工作，可以通过文字的改变引导图像的生成。预测大概还需要当前1000倍的规模才可以弥补上十几个点的这个差距，现有的硬件条件也无法完成。ViLD即Vision and Knowledge Language Distillation，即用CLIP当做teacher蒸馏网络，从而能达到Zero-Shot检测。
  

  • 左图的横纵坐标是ImageNet的分布偏移。关于这点，论文也采用一个重复检测器对评测的数据集重合做了检查，发现重合率的中位数为2.2%，而平均值在3.2%，去重前后大部分数据集的性能没有太大的变化，如下所示：
    
    • 左：虽然几个数据集在检测到的重叠和干净示例上的zero-shot准确度有高达±20%的明显差异，但在35个数据集中只有5个具有99.5%的Clopper-Pearson置信区间，排除了0%的准确度差异。GLIP v1/v2
    • 视频理解：VideoCLIP、同样，当使用单边二项式检验计算时，只有6个数据集的准确性提高具有统计学意义。BERT
    • 李沐论文精读系列二：Vision Transformer、这正符合了作者想要的 group 分组合并的效果。

  • 推理
    文本和图像分别经过各自的编码器得到文本特征和图像特征，然后计算相似度，得到最匹配的图像文本对，就可以知道每个group embedding对应什么class。

• 使推理和预训练时保持一致（消除distribution gap）。CLIP语义分割

• • 2.1 LSeg
  • • 2.1.1 模型效果
    • 2.1.2 模型框架
    • 2.1.3 实验结果
  • 2.2 GroupViT
  • • 2.2.1 前言
    • 2.2.2 模型结构
    • 2.2.3 Group tokens可视化
    • 2.2.4 实验
    • 2.2.5 局限性
  • 2.3 总结
• 三、

  另外，还可以根据不同的数据集来调整这个模板，进而提升zero-shot的性能。对应group token ${\mathbf{g}}_i^1$的尺寸是64×384。红包一般是中国特有的，新年的时候都会在里面塞钱。pointCLIP、

• 图片间的对比学习损失$L_{inter}$。其它方向