預(yù)訓(xùn)練大模型是過去幾年AI發(fā)展主旋律，但是主要集中于自然語(yǔ)言處理L域。視覺L域 在2021年開始迎來(lái)進(jìn)展。谷歌構(gòu)建了一個(gè)擴(kuò)展的ViT模型，擁有18億參數(shù)，并使用30億的 標(biāo)注圖像進(jìn)行訓(xùn)練，在ImageNet上取得了新的記錄（90.45%）。這一工作還表明，在視覺L 域上，模型同樣符合Scaling Lawo即：模型越大、性能越好。

SwinV2則進(jìn)一步證明了視覺大模型（30億參數(shù)）在廣泛視覺問題上的有效性，其在圖像 分類、物體檢測(cè)、語(yǔ)義分割和視頻分類等任務(wù)上均達(dá)到了 SoTA性能。這一工作也驗(yàn)證了自監(jiān) 督學(xué)習(xí)對(duì)于驅(qū)動(dòng)大模型訓(xùn)練的有效性，基于SimMIM方法，SwinV2用相比谷歌小40倍的標(biāo) 注數(shù)據(jù)（7000萬(wàn)）達(dá)成了十億J視覺模型的訓(xùn)練。