IT课程

IT技术专业学习平台
IT人才专业服务提供商

 

全国热线:400-004-8626

人工智能|03 ZF-Net是什么?

首页    技术博文    计算机视觉    人工智能|03 ZF-Net是什么?

    在前文中,我们了解了Alex-Net,它的出现让深度卷积网络变得流行起来的。当然这是2012年的事情,但这种热度至今都未消退,2013年就有人在Alex-Net的基础上进行了改进,使用改进后的网络拿下了ILSVRC比赛的冠军。作者是纽约大学的两个人,Matthew D. Zeiler 和 Rob Fergus,他们也给自己的创作起了个跟两人姓名相关的名称 ZF-Net。然而他们的成就不仅仅是拿到了比赛冠军,论文中更多的篇幅则是用来描述他们如何对Alex-Net这样的卷积网络进行可视化。

   Visualization with a Deconvnet

   论文这一部分描述了可视化卷积网络的一些主要技术,因为我们在正常使用神经网络时,输入空间为图像的像素数据,输出空间可以是标签。对于多层卷积神经网络来说,卷积层的输出则称为特征图,这种特征图是人类无法观看的高维数据,如何将其变更为可以展示给人类的可视图像就是这一部分的主题。本文通过一些技术就实现了卷积网络中池化、滤波的逆向算法,也即反卷积,虽然大多数学者会认为本文的做法并不是真正的反卷积(像反池化这种操作是无法实现的),但本文确实满足了可视化卷积网络的需求,可用的技术就是好技术。

   人工智能-可视化卷积网络

   简而言之,卷积网络训练时,记录最大值的池化位置,反池化就可以直接填写该最大值,其余位置填0;反卷积过程也采用relu激活;对于卷积滤波过程则使用原卷积核的转秩与特征图进行运算。通过上述三个技术要点就可以完成反卷积操作,可视化效果如下图所示,当然ZF-Net通过可视化的研究,修正了Alex-Net的一些问题,最终形成了自己的模型。

人工智能-ZF-Net通过可视化的研究

人工智能-ZF-Net通过可视化研究模型

人工智能-ZF-Net通过可视化研究模型2

   ZF-Net结构

   论文的4.1章节就描述了Alex-Net的一些不足之处,例如作者对Alex-Net进行可视化后,发现第一层CNN混合了高层与底层信息,但是中层信息没有收敛。以及第二层CNN由卷积核步长为4而导致的失真等,两个网络的可视化比较如下图。

人工智能-ZF-Net结构两个网络的可视化比较

   ZF-Net从架构上整体使用2步长,且第一层修改为7x7大小的卷积核。通过可视化的实验,作者还得出了一些结论,例如CNN浅层主要学习图像中的物体轮廓、边缘、纹理等特征,深层主要学习物体的相关性特征,例如处于同一类标签的图像,深层特征图就会极为相似,具体ZF-Net的结构如下图所示。

人工智能-具体ZF-Net的结构如图

   有趣的是,作者还做了遮挡性实验,即对下图中狗的不同部位进行遮挡,然后通过Hamming distance 来判断原图和遮挡后图的相似性。结果证明关键部位的遮挡对图像的识别性能有决定性作用。

人工智能-通过Hammingdistance来判断原图和遮挡后图的相似性

   本文只是对ZF-Net论文的要点进行一些介绍,一些技术细节还请直接阅读原文(链接为:https://arxiv.org/abs/1311.2901)。如果你对于这类技术十分感兴趣,欢迎关注我们的AI课程。


相关阅读:

人工智能|01 计算机视觉任务

人工智能|02 遇见Alex Net

2018年11月27日 14:08
浏览量:0
收藏
本网站由阿里云提供云计算及安全服务 Powered by CloudDream