图像描述(Image Caption)区域特征提取方法
目前,虽然已经有了若干种更先进的特征提取方法,但使用Faster RCNN的方法仍存在一定的价值,接下来对该种特征提取方法所使用的的代码进行简单介绍。
所使用的代码可以在下面的链接中获取:
该段代码中所使用的主要工具是detectron2包,由于detectron2包一直在更新,所以如果使用最新版的detectron2会产生bug。这里推荐在命令行中通过下面的命令安装,即安装版本号为ffff8ac的版本。
代码中使用的另一个名为grid_feats的文件在下面的链接处获取,直接将这个名为grid_feats的文件夹放在python项目的根目录下即可:
在运行上述代码进行特征提取前,还需要对数据集进行注册,代码如下:
至此,完成了运行区域特征提取代码的所有准备,下面简单介绍一下区域特征提取代码的构成。
代码的前103行构建一些特征提取过程中使用的函数;108-192行进行区域特征提取,并将区域数量低于十个的样本名记录;接下来的代码中,调整某个超参数后针对之前记录的若干样本再进行一次特征提取。提取到的区域特征最终被保存在一个hdf5文件中。