欢迎光临散文网 会员登陆 & 注册

图像描述(Image Caption)区域特征提取方法

2023-03-26 16:20 作者:子鼠丑牛  | 我要投稿
自2018年的论文《up-down》起,使用目标检测器(Faster RCNN)提取图像的区域特征,成为了图像描述领域中提取图像特征的主流方法。


目前,虽然已经有了若干种更先进的特征提取方法,但使用Faster RCNN的方法仍存在一定的价值,接下来对该种特征提取方法所使用的的代码进行简单介绍。

所使用的代码可以在下面的链接中获取:

该段代码中所使用的主要工具是detectron2包,由于detectron2包一直在更新,所以如果使用最新版的detectron2会产生bug。这里推荐在命令行中通过下面的命令安装,即安装版本号为ffff8ac的版本。

代码中使用的另一个名为grid_feats的文件在下面的链接处获取,直接将这个名为grid_feats的文件夹放在python项目的根目录下即可:

在运行上述代码进行特征提取前,还需要对数据集进行注册,代码如下:

至此,完成了运行区域特征提取代码的所有准备,下面简单介绍一下区域特征提取代码的构成。

代码的前103行构建一些特征提取过程中使用的函数;108-192行进行区域特征提取,并将区域数量低于十个的样本名记录;接下来的代码中,调整某个超参数后针对之前记录的若干样本再进行一次特征提取。提取到的区域特征最终被保存在一个hdf5文件中。

图像描述(Image Caption)区域特征提取方法的评论 (共 条)

分享到微博请遵守国家法律