小扎亲自官宣Meta视觉大模型！自监督学习无需微调丨开源Demo可玩

萧箫 发自 凹非寺量子位 | 公众号 QbitAI

无需文字标签，完全自监督的Meta视觉大模型来了！

小扎亲自官宣，发布即收获大量关注度——

在语义分割、实例分割、深度估计和图像检索等任务中，这个名叫DINOv2的视觉大模型均取得了非常不错的效果。

甚至有超过当前最好的开源视觉模型OpenCLIP之势。

虽然此前Meta就发布过自监督学习视觉大模型DINO，不过这次AI识别图像特征的能力显然更进一步，准确分割出了视频中的主体：

可别以为DINOv2通过自监督学会的只有图片分割。事实上，它已经能根据不同类别、不同场景下的照片，准确识别出同种物体（狗）的头部、身体和四肢长在哪：

换而言之，DINOv2自己学会了找图像特征。

目前Meta官方不仅已经放出了开源代码，而且还给了网页版Demo试玩。有网友内涵：

什么叫开源，LLaMA，SAM，DINOv2这才叫开源！

一起来看看，DINOv2的效果究竟如何。

事实上，DINOv2是基于上一代DINOv1打造的视觉大模型。

这个模型参数量是10亿级，也仍然是视觉Transformer架构（ViT），但与DINO不太一样的是，这次DINOv2在数据集上经过了精心挑选。

具体来说，DINOv2构建了一个数据筛选pipeline，将内容相似的图片精心筛选出来，同时排除掉相同的图片：

最终呈现给DINOv2的训练数据图片虽然没有文字标签，但这些图片的特征确实是相似的。

采用这类数据训练出来的视觉模型，效果如何？

这是DINOv2在8个视觉任务上的表现，包括语义分割、分类、深度估计等，其中橙色是自监督方法的效果，深粉色是弱监督方法的效果。

可以看见，经过自监督学习的视觉模型，表现上已经与经过弱监督学习的模型性能相当。

实际效果也不错，即便在一系列照片中，相同物体的画风并不相似，DINOv2也能准确识别它们的特征，并分到相似的列表中。

如（a）组中都具有翅膀的鸟和飞机、（b）组中的大象和大象雕塑、（c）组中的汽车和汽车玩具模型、（d）组中的马和涂鸦版马：

而且从PCA（主成分分析）图像效果来看，DINOv2不仅能准确分类，还能用不同颜色标出它们“相同”的部分，例如象鼻都是绿色、车轮都是红色、马的尾巴是黄色等。

换而言之，DINOv2能理解这些图像中的相似之处，就像人会形容飞机“看起来像一只鸟”一样。

目前DINOv2已经放出Demo，我们也试了试它的实际效果。

官网已经开放语义分割、图像检索和深度估计三大功能的试玩。

据Meta介绍，这几个任务中，DINOv2在大多数基准上超过了目前开源视觉模型中表现最好的OpenCLIP。

我们先来看看深度估计的效果。

值得一提的是，在效果更好的情况下，DINOv2运行的速度也比iBOT更快，相同硬件下只需三分之一的内存，运行速度就能比iBOT快上2倍多。

这是Meta论文中与OpenCLIP在实际例子上的比较效果：

我们用这张版新宝岛试一下，看起来还不错，即使是高糊图片也能比较好地估计出深度：

接下来是语义分割的效果，这里也先给出Meta论文中的数据对比情况：

这里也给出OpenCLIP和DINOv2的对比，中间的图片是OpenCLIP的效果，右边是DINOv2分割的效果：

我们也用一张办公室的图片试了一下，看起来DINOv2还是能比较准确地分割人体、物体的，但在细节上会有一些噪点：

最后是图片检索。

官网上给出的图片效果还是挺不错的，输入铁塔照片，可以生成不少含铁塔的相似艺术图片：

这里我们也试了试，输入一张华强买瓜，给出来的艺术图片大多数与西瓜有关：

那么，这样的自监督视觉大模型可以用在哪里？

从Meta给出的视频来看，目前有一些比较环保的用途，例如用于估计全球各地的树木高度：

除此之外，如同扎克伯格所说，DINOv2还能被用于改善医学成像、粮食作物生长等。当然这里小扎还进一步强调：

可以被用于制作更具沉浸感的元宇宙。

嗯，看来Meta的元宇宙路线还将继续……

试玩Demo地址：/d/file/gt/2023-09/j4euntr1glk 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态

CSGO平台选哪个？5E，完美平台区别在哪里？看完你就明白了

前言

CSGO作为当下最热门的一款游戏，玩家数量是非常之多的，但随着越来越多的新玩家入坑，平台的选择成为一大难题，就拿当下最为火热的完美和5E平台相比，哪个平台才是最佳选择呢？

5E竞技平台

作为国内用户最多的平台，段位水平相对稳定成熟，各个分段实力比较平均，恶意炸鱼的较少，局内体验感还算不错。不过这个平台的服务器质量却成为玩家吐槽最多的一个点，掉帧比较严重，经常会出现VAC报错情况，在去年的时候就因VAC验证导致很多玩家被V社官方误封，因为这点也导致大批玩家更换平台。

一个平台的好与不好除了服务器的流畅程度外，就当属反作弊系统了，毕竟游戏体验是最重要的，但5E平台却在反作弊系统上越来越不上心，开挂人数非常多，而且检测外挂系统比较弱，很多新型外挂根本检测不出来，这也导致很多优质玩家流失，平台玩家的整体素质越来越，另外5E平台出活动的频率是相当高的，割韭菜方面绝地称得上第一。

完美平台

官方认证的服务器，在刚推出时口碑确实比不上5E，但随着官方对平台越来越上心，优势也逐渐显现了出来，像平台最有趣的Demo功能和近日推出的自定义完美时刻功能都极其有趣，俘获很多玩家的心，特别是自定义完美时刻，这个功能和其他平台相比会更加简单便捷，一键生成根本不是事。

要说完美平台最强大的是什么，那当属PAC反作弊系统了，作为CSGO官方竞技平台，在这方面做得是非常好的，只要对局中出现外挂玩家，平台就会在第一时间检测并封禁，作为唯一有着绿色认证的平台，完美已然成为大部分玩家的选择。不仅如此，完美平台在“炸鱼”这点抓的也很严格，监控系统目前保持高度处罚力度，自六月以来封禁的账号已超2W个。

个人观点

总体而言，这两个平台都有着各自优劣处，虽说5E用户较多，段位水平较稳定，但服务器以及反作弊却不怎么成熟，反观完美平台做的就很好，各个功能都很方便，能成为大多数玩家的第一选择也不是没有理由！