12023年3月31日12:15:36

survey of semantic segmentation

1.parit 1origin, history and rule

first principle part 1: origin, history, evolution, rule, orientation

1a

• 评估标准：准确性、速度、稳定性[1]

• PASCAL VOC多类别，20个物体类别和1个背景类别[1]

• MSRCV2，21个物体类别和1个void类别[1]

• 3个医学数据库：胰腺、视网膜、内窥镜手术[1]

• 滑动窗口：传统（SVM、随机森林）、神经网络[1]

• 全局：MRF（概率模型）、CRF（条件概率模型）[1]

1b 传统

• 自动编码器可以用于学习特征[1]

• 特征提取：像素颜色、梯度直方图、SIFT、BOV、Poselets、Textons、维度约简[1]

• 传统图像分割：无监督：聚类、随机游走、主动轮廓模型、分水岭[1]

• 传统图像分割：监督：随机决策森林、马尔科夫随机场、支持向量机[1]

• 后处理[1]

1c

• 问题：镜头耀斑、暗角效应、模糊图像、部分遮挡、伪装效应、半透明遮挡、视角[1]

• 方向：不同分类器的组合[1]

• 方向：将分类器（如神经网络）与CRF结合[1]

1d神经网络支线历史

• LeNet和AlexNet基于神经网络这一支的开端[2]

• ----基于特征编码器（feature encoder）包括：VGG、ResNet[2]

• VGG使用多个3x3卷积提取特征，更大的感受野带来更多的参数和算力[2]

• ResNet遵循跳跃连接的残差学习框架，梯度通过跳跃连接以避免消失[2]

• 优势：跳跃连接，避免梯度消失[2]

• ----基于区域建议（Regional Proposal）：R-CNN、Fast-RCNN、Faster-RCNN[2]

• 通过颜色空间和相似性度量等方法检测区域，然后进行区域分类预测[2]

• RCNN（区域卷积神经网络）包括：区域建议生成器、卷积神经网络、线性支持向量机分类器[2]

• 优势：同时生成目标的检测和分割[2]

• ----基于循环神经网络（RNN）：RCNN、FCN with LSTM decoder、ReSeg[2]

• 优势：RNN强于处理序列数据，学习长期依赖关系并保持记忆，上下文信息[2]

• ----基于上采样/反卷积（Upsampling/Deconvolution）[2]

• 优势：解决卷积神经网络因下采样而失去空间信息的问题[2]

• ----基于特征分辨率提升（increase resolution of feature）

• 空洞卷积（atrous convolution）和膨胀卷积（dilated convolution）

• 
  

2.attention mechanism

way of research

3.transformer

way of research

4.autonomous driving

need of research

5.innovation point

supply to ways

6.reference

not all

[1]. A Survey of Semantic Segmentation. 16.5. arxiv. Martin Thoma

[2]. Survey on semantic segmentation using deep learning techniques. 19.2. Neurocomputing. Fahad Lateef*, Yassine Ruichek

/

semi run and gun