Facebook发布新的深度学习框架

Github链接：github.com/facebookresearch/pythia

是在PyTorch机器学习框架之上构造的，主要用于视觉和语言任务，例如回答与视觉数据相关的问题并自动生成图像标签。它结合了Facebook AI Research在人工智能竞赛中的顶级技术，例如同时赢得VQAChallenge 2018和Vizwiz Challenge 2018的视觉和语言模型LoRRA（Look, Read, Reason & Answer）。这个预训练的模型可以很好地回答针对图像的提问，让AI能够横跨视觉与自然语言两个领域，效果如下图所示：

想了解LoRRA模型的同学可以点击论文链接：https://arxiv.org/abs/1904.08920

还支持多数据集分布式训练，这意味着你可以同时训练多个语料库、图像库、视频库等。人类的智能是建立在对视觉、听觉、感觉等外在信息源的综合分析之上，AI迟早需要突破这一步，我们不能满足于仅拥有图像识别AI、自然语言处理AI、人机对话AI等，多模型融合是AI发展的趋势。Pythia也允许研究人员对算法底层进行调整，用户可以自定义损失函数、评价指标、训练过程和优化器等。

Facebook表示会有更多工具、数据集与模型在后续推出，目前Pythia的内置预训练模型如下表所示。

总之，这个框架旨在让开发与研究人员能投入更多精力用于原型设计与实验，加速人工智能应用及新算法的研究，并且为AI的多情景融入课题提供了更多思路，或许几个月后就会有更好的人机交互应用出现。当然，我们希望这类应用的创造者是学完YESLAB AI课程的你！

（---END---）