论文： Deformable Convolutional Networks

 

 

CNN因为其内部的固定的网络结构，对模型几何变换的识别非常有限。

 

本paper给出了两个模块deformable convolution 和 deformable ROI-Pooling来提高CNN的模型变换能力。

 

过去的办法解决几何变换的方法，一，使用data Augmentation来增大不同几何形状的object，二，使用sift 或者 sliding windows这样的方法来解决。

 

本paper主要针对三个module进行了deformable的改进，deformable Convolution， deformable ROI-Pooling 和 deformable PSROI-Pooling 

这里主要讲 conv layer 的 deformable Conv 版本。

 

 

 

本paper是使用公式

 针对p0点的像素点，使用Pn是之前conv的方法，添加了^P 来作为offset，其中^P是一个非常小的量。 而这个offset是由

得到的，G(. , .) 是 bilinear interpolation kernel。

 

在训练中，同时对conv kernel和offsets进行学习。

其中，该deformable conv kernel的求导为：

 

 

这paper的目的是augmentating空间样本点和RoI-pooling得到额外的offset量，同时在learning 中学习到offset量。

 

本人观点：

利用deformable offset 来学习每一个 pixel 的偏移量，从而主动学习到object的region。改变了过去方方正正的 object region，可以learn到deformable的region。