BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning
- 点击次数：
- 发表刊物：Neural Networks
- 摘要：多模态学习面临两个关键挑战：有效融合来自不同模态的复杂信息，以及设计高效的跨模态交互机制。受人类大脑神经可塑性和信息处理原则的启发，本文提出了一种新的方法——BC-PMJRS（受脑计算启发的预定义多模态联合表示空间），以增强跨模态学习。该方法通过两个互补的优化目标学习联合表示空间：(1) 最小化不同模态表示之间的互信息，以减少冗余；(2) 最大化联合表示与情感标签之间的互信息，以提高任务相关的区分能力。这些目标通过一个受长时程增强（LTP）和长时程抑制（LTD）机制启发的自适应优化策略动态平衡。此外，我们通过借鉴大脑的选择性注意机制，开发了一种高效的全局-局部跨模态交互机制，显著降低了模态交互的计算复杂度。实验结果表明，BC-PMJRS在IEMOCAP、MOSI和MOSEI数据集上，无论是在完整模态还是不完整模态设置下，都优于现有最先进模型，分别在IEMOCAP上提高了1.9%的加权F1值，在MOSI上提高了2.8%的七分类准确率，在MOSEI上提高了2.9%的七分类准确率。这些显著的改进表明，结合脑启发机制，特别是通过神经可塑性原则动态平衡信息冗余和任务相关性，可以有效提升多模态学习的效果。本研究将神经科学原理与多模态机器学习相结合，为开发更高效且生物学上合理的模型提供了新的见解。
- 备注：Citation: Jiahao Qin, Feng Liu, Lu Zong, BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning, Neural Networks,Volume 188,2025,107449,https://doi.org/10.1016/j.neunet.2025.107449.
- 学科门类：工学
- 文献类型：J
- 卷号：188
- 页面范围：107449
- 是否译文：否
- 发表时间：2025-04-12
- 收录刊物：SCI
- 论文类型：期刊论文
- 发表时间：2025-04-12
推荐
