标题：基于文本匹配情感原型池与跨模态共享维度空间的多模态数据融合方法
作者：黄竞泽 诸佳炜 王瑞
作者单位：上海大学通信与信息工程学院，上海 200444
关键字：多模态数据融合；文本主导；多模态情绪识别
摘要：当今时代社交媒体和移动设备广泛普及，文本、图像、音频等多模态数据被充分运用来表达情感，对多模态情感识别提出了新的挑战。而传统方法在模态融合过程中存在着模态交互关系挖掘不足，表征分布差异等问题。为此，提出了一种基于文本匹配情感原型池与共享维度空间的多模态数据融合方法，通过动态生成情感原型池，集合跨模态共享维度空间机制，有效剔除非关键特征并捕捉模态间的复杂关联。实验表明，该模型在MOSI和MOSEI数据集上的情感分类准确率、F1值、MAE值、Corr值都优于现有方法。通过消融实验进一步验证，文本原型引导的匹配情感原型池与跨模态共享维度空间结构，对性能提升起到关键作用，为多模态情感识别任务提供了创新的解决方案。