模块化、即插即用，极大简化模型进展

能做什么？

Pythia加入了最近的人工智能竞赛（2018年VQA挑战赛和2018年Vizwiz挑战赛）中获奖作品的元素。功能包括用参考实现（reference implementations）来显示以前先进的模型如何实现相关的基准结果，并快速衡量新模型的性能。

除了多任务处理之外，Pythia还支持分布式培训和各种数据集，以及自定义损失、度量、调度（scheduling）和优化器。

Pythia的特性

• Model Zoo：艺术级的视觉和语言模型的参考实现，包括LoRRA（VQA和TextVQA上的SoTA）、Pythia模型（VQA 2018 挑战赛获胜者）和Ban。
• 多任务处理：支持多任务处理，允许对多个数据集进行训练。
• 数据集：包括对各种内置数据集的支持，包括VQA, VizWiz, TextVQA and和VisualDialog。
• 模块：为视觉和语言领域中的许多常用层提供实现
• 分布式：支持基于数据并行和分布式数据并行的分布式训练。
• Unopinionated：关于基于它的数据集和模型实现是Unopinionated。
• 定制：定制损失、度量、调度、优化器、Tensorboard；适合用户所有的定制需求。
• 用户可以使用Pythia为自己下一个视觉和语言多模式研究项目进行引导。Pythia还可以作为围绕视觉和语言数据集的挑战的起始代码库（参见TextVQA挑战赛和VQA挑战赛）。

Pythia最厉害的地方是什么？

Pythia简化了进入视觉和语言发展子领域的过程，使研究人员能够专注于更快的原型制作和实验。Facebook的目标是通过增加这些模型和结果的再现性来加速进展。这将使社区更容易建立成功系统的基础和基准。

开发者还希望通过Pythia消除障碍，能够使研究人员更快地为人们和智能机器开发新的交流方式。这项工作还应该帮助研究人员开发自适应人工智能，将多种理解合成一种更基于上下文的多模式理解。除了这个开源版本，Facebook计划继续添加工具、任务、数据集和引用模型。

在上面提到的VQA 2018比赛中，Pythia v0.1出发点是自下而上、自上而下模型的模块化重新实现，最终力压群雄而胜出。

Pythia v0.1证明，通过对模型体系结构和学习速率计划进行细微但重要的更改、微调图像功能和添加数据扩充，可以显著提高VQA v2.0数据集自上而下模型的性能，从65.67%提高到70.22%。

此外，通过使用不同特征和不同数据集训练的不同模型集合，Pythia v0.1能够显著提高1.31%的“标准”集合方式（即具有不同随机种子的相同模型）。总的来说，Pythia v0.1在VQA v2.0数据集的测试标准分割上达到了72.27%。

术语和概念

Pythia经过精心设计，从一开始就是一个多任务框架。这意味着使用Pythia，可以一起训练多个任务和数据集。

但是，Pythia在其模块中抽象了许多概念，在Pythia之上进行开发，有必要理解Pythia代码库中使用的概念和术语。一旦开发人员理解了这些简单的概念，就很容易在Pythia之上进行开发。其中主要概念和术语如下：

任务和数据集

在Pythia中，数据集被划分为一组任务。因此，任务对应属于它的数据集的集合。例如，VQA 2.0，VizWiz和TextVQA都属于VQA任务。 已为每个任务和数据集分配了一个对应key，用于在命令行参数中引用。

（编辑：青岛站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!