• 电子邮箱:liu.feng@sjtu.edu.cn
  • 教师拼音名称:Liu Feng
  • 在职信息:在职
  • 学科:计算机应用技术(081203)
    神经科学与心理学
论文成果
当前位置: 刘峰-上海交通大学... >> 科学研究 >> 论文成果 >> BC-PMJRS: A Brain...
BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning
  • 点击次数:
  • 发表刊物:Neural Networks
  • 摘要:多模态学习面临两个关键挑战:有效融合来自不同模态的复杂信息,以及设计高效的跨模态交互机制。受人类大脑神经可塑性和信息处理原则的启发,本文提出了一种新的方法——BC-PMJRS(受脑计算启发的预定义多模态联合表示空间),以增强跨模态学习。该方法通过两个互补的优化目标学习联合表示空间:(1) 最小化不同模态表示之间的互信息,以减少冗余;(2) 最大化联合表示与情感标签之间的互信息,以提高任务相关的区分能力。这些目标通过一个受长时程增强(LTP)和长时程抑制(LTD)机制启发的自适应优化策略动态平衡。此外,我们通过借鉴大脑的选择性注意机制,开发了一种高效的全局-局部跨模态交互机制,显著降低了模态交互的计算复杂度。实验结果表明,BC-PMJRS在IEMOCAP、MOSI和MOSEI数据集上,无论是在完整模态还是不完整模态设置下,都优于现有最先进模型,分别在IEMOCAP上提高了1.9%的加权F1值,在MOSI上提高了2.8%的七分类准确率,在MOSEI上提高了2.9%的七分类准确率。这些显著的改进表明,结合脑启发机制,特别是通过神经可塑性原则动态平衡信息冗余和任务相关性,可以有效提升多模态学习的效果。本研究将神经科学原理与多模态机器学习相结合,为开发更高效且生物学上合理的模型提供了新的见解。
  • 备注:Citation: Jiahao Qin, Feng Liu, Lu Zong, BC-PMJRS: A Brain Computing-inspired Predefined Multimodal Joint Representation Spaces for enhanced cross-modal learning, Neural Networks,Volume 188,2025,107449,https://doi.org/10.1016/j.neunet.2025.107449.
  • 学科门类:工学
  • 文献类型:J
  • 卷号:188
  • 页面范围:107449
  • 是否译文:
  • 发表时间:2025-04-12
  • 收录刊物:SCI
  • 论文类型:期刊论文
  • 发表时间:2025-04-12
推荐