BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning
- 点击次数:
- 发表刊物:Neural Networks
- 摘要:多模态学习面临两个关键挑战:有效融合来自不同模态的复杂信息,以及设计高效的跨模态交互机制。受人类大脑神经可塑性和信息处理原则的启发,本文提出了一种新的方法——BC-PMJRS(受脑计算启发的预定义多模态联合表示空间),以增强跨模态学习。该方法通过两个互补的优化目标学习联合表示空间:(1) 最小化不同模态表示之间的互信息,以减少冗余;(2) 最大化联合表示与情感标签之间的互信息,以提高任务相关的区分能力。这些目标通过一个受长时程增强(LTP)和长时程抑制(LTD)机制启发的自适应优化策略动态平衡。此外,我们通过借鉴大脑的选择性注意机制,开发了一种高效的全局-局部跨模态交互机制,显著降低了模态交互的计算复杂度。实验结果表明,BC-PMJRS在IEMOCAP、MOSI和MOSEI数据集上,无论是在完整模态还是不完整模态设置下,都优于现有最先进模型,分别在IEMOCAP上提高了1.9%的加权F1值,在MOSI上提高了2.8%的七分类准确率,在MOSEI上提高了2.9%的七分类准确率。这些显著的改进表明,结合脑启发机制,特别是通过神经可塑性原则动态平衡信息冗余和任务相关性,可以有效提升多模态学习的效果。本研究将神经科学原理与多模态机器学习相结合,为开发更高效且生物学上合理的模型提供了新的见解。
- 备注:Citation: Jiahao Qin, Feng Liu, Lu Zong, BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning, Neural Networks,Volume 188,2025,107449,https://doi.org/10.1016/j.neunet.2025.107449.
- 学科门类:工学
- 文献类型:J
- 卷号:188
- 页面范围:107449
- 是否译文:否
- 发表时间:2025-04-12
- 收录刊物:SCI
- 论文类型:期刊论文
- 发表时间:2025-04-12
推荐