Segment Anything Meta开源分割一切模型,为进军元宇宙更近一步
上期图文教程,我们分享了Segment Anything分割一切模型的原理,Segment Anything Model 是一种以最少的人工干预构建全自动可提示图像分割模型的方法。模型提供了一键分割图片的方法,当然模型也可以运行我们输入一个坐标点,一个输入框,或者输入一个对象的文本来分割输入的对象。

它是一个单一的模型,可以轻松地执行交互式分割和自动分割。该模型允许以灵活的方式使用它,只需为模型设计正确的提示(点击、分割框、文本等),就可以完成分割任务。此外,Segment Anything Meta SAM在包含超过 10 亿个掩码的多样化、高质量数据集上进行训练,这使其能够泛化到新类型的对象和图像。

在 Segment Anything Meta SAM 中,该模式包含三个重要组成部分:
图像编码器。
提示编码器。
掩码解码器。

更多模型介绍,可以参考上期图文教程,本期教程,我们分享一下Segment Anything的代码实现过程。在运行代码前,首先需要确认一下有N卡的驱动,且成功安装了torch等第三方库
首先我们需要使用到torch与torchvision库,并使用Facebook开源的segment-anything模型,安装相关的第三方库文件,并下载预训练模型。

然后我们建立一个show函数,此函数主要用于可视化Segment Anything模型预测的结果。
然后我们读取一张本地的照片,上张照片是transformer进行对象检测的结果,我们使用原图片上传给模型。在模型读取图片前,我们需要把图片转换到RGB空间,当然这里可以show一下图片。
然后我们就可以把图片传递给模型了,这里我们使用sam_vit_h_4b8939.pth预训练模型中的vit模型,SamAutomaticMaskGenerator函数帮我们建立了一个自动分割的函数,此函数会自动分割图片中的所有检测到的分类,当然此模型可以根据自己输入的坐标信息,对象种类来单独分割某个单独的对象,此部分代码我们后期进行分享。最后我们就可以把图片传递给mask generator函数进行预测了,预测后的结果保存在mask里面。

模型预测完成后,我们可以打印出来模型预测的种类以及模型预测的结果,这里模型输出如下

有了以上的输出,我们可以使用前面建立的可视化函数来进行mask图片的可视化操作

