Randomly Wired Neural Networks

首页 ꄲ 技术博文 ꄲ 强化学习 ꄲ Randomly Wired Neural Networks

最近AI圈又被大神何恺明等人刷屏了，计算机视觉领域又出现更加有效的方法，即让神经网络回归连接主义的本质又创造了新的模型思维。众所周知，人工智能的发展过程包含了符号主义、行为主义与连接主义，基于计算机视觉的人工智能程序自AlexNet以来就大量采用了神经网络技术，其特征提取的优秀效果为自动驾驶等AI应用创造了基本条件。

神经网络回归连接主义的本质又创造了新的模型思维.webp

近几年流行的ResNet与DenseNet在我们之前发布的计算机视觉系列的文章中都有介绍，这类算法的性能都以ImageNet数据测试的结果为准，本文证明了专注于设计更好的网络生成器可能是未来神经网络发展的有效研究方向。而作者提出的神经结构搜索(NAS)方法则实现了随机连接网络，这种随机连接使得更多的神经网络连接方法被探索出来。也就是说，人工智能程序在不远的未来可以根据数据、任务等因素自己搭建神经网络，配合之前早已问世的自动参数搜索等技术，帮助人类快速实现更成熟与更有效的人工智能应用。

NAS技术

如果说神经网络本身是网络参数与数据之间的映射关系，那么网络生成器就是网络参数与网络结构之间的映射关系。由此，你是否能想到更好的方法来解密“数据-网络参数-网络结构”这样的关系链呢？顺便说一句，NAS本是用来优化强化学习算法的，且看来未来强化学习与神经网络的关系是否还可以更进一步。

小世界模型是Watts与Strogatz在1998年提出的基于人类社会网络的模型，能够让网络通过调参的方式游走在规则网络与随机网络之间。本文就是采用这种模型来作为生成器，从而能够制造多种不规则的随机网络，产生的网络如下图所示，真可谓是一团乱麻，但是对于计算机来说可能这是漂亮的眼线。这三个随机生成的模型均在ImageNet上取得了79.0%以上的好成绩。

人工智能NAS技术.webp
Randomly Wired Neural Networks

技术细节

“It is likely that the design of the network generator plays a considerable role—if so, current methods are short of achieving AutoML”作者是这样描述网络生成器的作用的，AutoML即自动化机器学习是实现强人工智能的必经之路，就好像人类的小孩应该由人类自己来抚养一样，人工智能应该由人工智能自己完成训练与学习过程。

·Generating general graphs：生成图模型可以用来生成点与边，就是上面那张乱如麻的图中的小圆圈与连接线，如果从中医的角度看待它，边就是其经脉，点就是其穴位。点是有输入与输出的，每个点都是一个ReLU-convolution-BN 的基本网络结构，这让人联想到纳米机器人，每一个很小的机器人都有非常复杂的结构，身手不凡，如下图所示。

·Input and output nodes：神经网络的输入节点与输出节点跟内部节点是不一样的，它们控制着新数据的接收与处理后数据的流出，就像剧院、景区等有入口和出口一样，所有数据如同游客一般从统一的入口蜂拥而至，在里面分散游玩后在出口处汇集并离开，输出节点使用平均方法对应上游节点的输出值。

·Stages：本文所描述的一切都是主要服务于计算机视觉的，而通常我们在使用图片——计算机视觉最常用数据时，总不会让它舒舒服服通过神经网络。过往的网络设计都采取不断改变卷积参数的方式来实现下采样，随机设计的网络也是基于卷积网络的，因此也需要进行不同阶段的下采样，这样一个网络就会被分割为多个阶段（Stages）。