Journal:Neural Networks
Abstract:多模态学习面临两个关键挑战：有效融合来自不同模态的复杂信息，以及设计高效的跨模态交互机制。受人类大脑神经可塑性和信息处理原则的启发，本文提出了一种新的方法——BC-PMJRS（受脑计算启发的预定义多模态联合表示空间），以增强跨模态学习。该方法通过两个互补的优化目标学习联合表示空间：(1) 最小化不同模态表示之间的互信息，以减少冗余；(2) 最大化联合表示与情感标签之间的互信息，以提高任务相关的区分能力。这些目标通过一个受长时程增强（LTP）和长时程抑制（LTD）机制启发的自适应优化策略动态平衡。此外，我们通过借鉴大脑的选择性注意机制，开发了一种高效的全局-局部跨模态交互机制，显著降低了模态交互的计算复杂度。实验结果表明，BC-PMJRS在IEMOCAP、MOSI和MOSEI数据集上，无论是在完整模态还是不完整模态设置下，都优于现有最先进模型，分别在IEMOCAP上提高了1.9%的加权F1值，在MOSI上提高了2.8%的七分类准确率，在MOSEI上提高了2.9%的七分类准确率。这些显著的改进表明，结合脑启发机制，特别是通过神经可塑性原则动态平衡信息冗余和任务相关性，可以有效提升多模态学习的效果。本研究将神经科学原理与多模态机器学习相结合，为开发更高效且生物学上合理的模型提供了新的见解。
Note:Citation: Jiahao Qin, Feng Liu, Lu Zong, BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning, Neural Networks,Volume 188,2025,107449,https://doi.org/10.1016/j.neunet.2025.107449.
Discipline:工学
Document Type:J
Volume:188
Page Number:107449
Translation or Not:no
Date of Publication:2025-04-12
Included Journals:SCI
Indexed by:[J]