视觉与听觉相结合的深度跨域情绪识别

论文标题：Joint Deep Cross-Domain Transfer Learning for Emotion Recognition

论文地址：https://arxiv.org/abs/2003.11136

引言

1.1 论文动机

众所周知，自动情感识别的挑战是缺乏足够的标记数据来训练稳健的情绪分类模型。大型数据集准确地标注情感类别不仅成本高昂而且耗时，还需要具体的技能和知识。为了解决情感分类中数据缺乏的问题，迁移学习方法被广泛采用。

然而，在不同的领域（例如，从视觉领域到听觉领域，反之亦然）传递知识是一项具有挑战性的任务。当在不同的数据集上执行训练/测试时，对迁移学习也提出了更大的挑战，由于数据集之间的分布变化，常常会引起性能的显著下降。

1.2 论文工作

为了在不受分布变化影响的情况下，完成在多个数据集和多个资源贫乏的数据集上传递情感知识的任务，作者提出了一种联合的深度跨域学习方法，旨在学习跨域知识，并将学习到的知识从庞大的数据集中联合转移到数据量贫乏的数据集中，提高了情感识别的性能。

旨在学习跨越视觉和听觉领域的情感知识，并将跨领域的知识转移到多个缺乏源的数据集。

论文方法

在预先训练的模型中获得的情感知识可以在跨域迁移步骤中重复使用。进行这种跨域迁移的原因是，在进行联合学习之前，将学习到的情绪知识从预先训练好的模型中，从视觉域迁移到听觉情绪域，是因为视觉域和听觉域之间存在互补信息。

因此，它可以为当前的模型积累有用的情感知识。利用我们提出的联合学习算法，在这些资源贫乏的数据集上同时最小化类内情绪方差和较大化类间情绪方差，将学习到的该模型的情绪知识迁移到多个数据集。

结果

视频情感识别模型的实验结果分别如表 2 和表 4 所示 : V_eNTER_Model 在视频数据集 eNTERFACE 上进行预训练，V_SAV_Model (Fine-tuned) 微调全连接层的 V eNTER Model 预训练模型。

如表 3 结果所示，在 audio SAVEE 数据集上，不断微调 V_SAV_Model 的所有层。同样，与其他较先进的语音情感识别模型相比，A_EMO_Model (Fine-tuned) 表现较佳 (89%)，明显优于 A_EMO_Model (67%)，如表 5 所示。

如表 7 所示，尽管通过简单地结合 visual eNTERFACE 和 visual SAVEE 来扩大多个数据集进行学习，V_SAV_eNTER_Model 在识别精度上并没有显著的提高。虽然通过联合优化两个交叉熵损失来学习 V_SAV_eNTER_Model，该模型仍然存在跨数据集分布偏移的问题。

相比之下，从表 7 中可以看出，采用表 1 中详细描述的联合学习算法进行学习时，模型的性能得到了极大的提高，同时优化了两个交叉熵损失和一个对比损失。这说明模型可以很好地泛化多个数据集，从而成功地解决了数据集之间的分布移位问题。

结论

在这篇论文中，作者开发了一个框架，这个框架能够通过同时最小化类内方差和较大化类间方差，来很好地学习多个资源贫乏且互不关联的情感数据集。

通过使用连续的微调策略整合跨域迁移，提出的框架成功地将情感学习知识在不同的模式间迁移，例如从一个视觉领域迁移到另一个视觉领域，从视觉领域迁移到听觉领域，然后再迁移到多个领域。

据我们所知，本文提出的联合学习算法是第一个旨在解决多个资源贫乏的情绪数据集的训练问题的研究。

声明：文章收集于网络，版权归原作者所有，为传播信息而发，如有侵权，请联系小编删除，谢谢！