人工智能强化学习 09|准备上码

如果你已经认真读完之前的八篇强化学习文章，那你几乎掌握了强化学习的大部分知识框架，从现在开始，需要的仅仅是不断练习。强化学习有一个很严重的缺陷，这个缺陷就是AI学习到的经验无法复用，这取决于环境的特异性。但是聪明的我们——人类，是可以复用经验来解决相似类型的问题的，例如我们只需要精通一款MOBA游戏，在其他MOBA游戏中就是毫无疑问的王者。所以学习实践强化学习的最好方法，就是在不同的环境中建立AI，实现强化学习，并查看它们之间的差异。

• OpenAI

OpenAI是由诸多硅谷大亨联合创建的人工智能非营利组织。2015年马斯克与其他硅谷科技大亨进行连续对话后，决定共同创建OpenAI，希望能够预防人工智能的灾难性影响，推动人工智能发挥积极作用。在OpenAI的Github页面中，我们可以看出世界顶尖的AI研究人员对强化学习的无限期望。

图1. Open的Git

如上图所示，baselines是关于强化学习的基本算法高质量实现代码，而 roboschool 是OpenAI最新的机器人高级仿真环境，专门用来训练给予强化学习的高复杂度机器人任务。Mujuco-py则是针对Mujuco 模拟环境，即奔跑的小人、双足与四组动物，来训练强化学习AI的实现代码。

图2. Mujuco环境

• GYM

GYM则是由OpenAI维护更容易上手的强化学习实践环境，GYM内置了许多模拟环境，并且让这些环境的使用方式变得统一化。这样一来，玩家就可以投放更多精力在强化学习的配置上，而不用操心为各种环境书写代码。

图3. Gym

GYM官方的描述是这样的“Gym是用于开发和比较强化学习算法的工具包。它支持AI从简单步行到玩Pong或Pinball等游戏。”而我们在前几节课使用的冰湖游戏环境也在其中，所属类型为Toy text，即文本游戏。GYM的环境还包含了传统的平衡杆与小车游戏，以及怀旧系列的Atari 2600游戏等。

图4. 冰湖游戏

• 安装GYM

安装GYM非常简单，直接在命令行中使用PIP工具即可，即“pip install gym”。只不过GYM中的一些高级环境需要进一步的安装，而且有些环境是没有编译好的Windows安装源的，所以我们还是推荐大家使用Linux系统来玩GYM。在下节课中，我们会讲解冰湖游戏的具体运行代码，还望大家都能够安装GYM,做好上码前的准备哦。

（The End）