0%

语义分割、目标定位、目标检测、实例分割笔记

https://blog.csdn.net/poulang5786/article/details/80671185

语义分割:不区分个体。

基本方法1:sliding window.(提取patch.)

图中提取很多块patch,判断中心点的类标。
    评价:由于不同patch之间的重叠,方法不好,占用空间大。
优化:一次取整个图的卷积。
提升:Refinement .采用多规模的patch,链接不同大小的patch的信息。(*需要看一下代码细节)
    提升:用ml的方法学习如何采样才能提升效果。

基本方法2:FCN.

对图中所有像素分类。
评价:计算量太大,需要采用各种采样操作。
    *采样:只有一部分层做原清晰度的处理。另外的做pooling。
        *strided_convolution: 每次移动步长非1.

结构:网络分为两个部分。

    前半部分:downsampling/upsampling.
    后半部分:将经过各种pooling后变小的图恢复原图。unpooling.
        <直接pooling、钉床pooling、max unpooling(在pooling时记最大的位置,类似钉床)>
卷积转置 transpose convolution/ back stride convolution.(需要列一下公式自己算算)
    A
filter=B =>> B*tf = A    实际采用矩阵运算。
将经过CNN和pooling后输出的图像恢复成原来的图像。
       (2015版) 另一种:选取不同的初始位置,卷积时得到多种输出,再恢复。


分类和定位。

Alex网络,现在有两个全连接层,一个是图像目标分类的预测,还有一个是向量(高度,宽度,x,y坐标)代表了目标在图像中的位置。
    训练网络时有两组损失,目标分类用softmax损失函数,边界输出损失用L2损失,评定预测边界和真实边界之间的差距。


目标检测:图中类已知(多个类)。

基本方法1:sliding window.(和patch很像)

提取window,判断类。没见过的类单列为background类。
    如何选择crop方法是个问题。

方法2(改进1):R-CNN.

Region proposals + 用CNN分类。+用CNN校正边界。
Region proposals: 传统方法,常用于信号、图像处理。
    几秒内查找上千个候选的windows,有噪声,但recall率高。
    再用SelectiveSearch 等的方法调查windows.(被CNN替代)
替代:用CNN对候选框分类。

方法3(改进2):Fast R-CNN.

对整个图像处理。从pixel -> feature map, 再提取proposal.

方法4(改进3):Faster R-CNN.(NIPS 2015)

用CNN自动选取Proposal.

基本方法2:前馈模型(一次性提取所有对象)

将其视为回归问题。例:YOLO,SSD.
    ### SSD: 从一个点,选择多个尺寸规模的windows,判断和偏差和类别和置信度等。

基本方法3:R-LCN,二者之间。


实例分割:区分每个实体。

基本方法:

用box做检测,再对每个小部分做分割。
MASK-RCNN(NIPS 2017)
选出Region Proposals, 在其中做SS.


医学图像分割与分析

医学图像分析(百度百科):https://baike.baidu.com/item/%E5%8C%BB%E5%AD%A6%E5%9B%BE%E5%83%8F%E5%88%86%E6%9E%90/3939451
AI医疗新突破:增强罕见疾病的影像数据集,大幅提高识别准确率:https://www.jiqizhixin.com/articles/2018-07-07-2

医学图像分割综述(中文论文):file:///C:/Users/T450/Downloads/2002_Medical%20Image%20Segmentation.pdf

-------------这么快就看完啦^ω^谢谢阅读哟-------------