【学术报道】随园“心”光青年教师论坛总第61期

——多模态语言接口与言语层级性预测机制

2025年12月6日下午，随园“心”光青年教师论坛第61期在南京师范大学心理学院312会议室举行。本期讲座由中国科学院心理研究所杜忆研究员主讲，题为“多模态语言接口与言语层级性预测机制”。讲座由南京师范大学教务处处长、心理学院教授陈庆荣主持，心理学院众多师生参与研讨。

杜忆研究员是中国科学院心理研究所研究员，博导。中国科学院心理研究所认知与发展心理学研究室主任，中国科学院特聘核心骨干岗位，中国心理学会副秘书长、音乐心理学专委会副主任，《心理学报》编委。主要利用认知神经科学技术与计算建模，研究人类言语与音乐交流的认知神经计算机制，在Nature Communications、Science Advances、PNAS、PLOS Biology、eLife等国际一流期刊发表论文。主持国家优秀青年科学基金和科技创新2030重大项目课题等项目。

在讲座中，杜忆研究员首先探讨了语言作为多模态信息的本质——同一语义概念可通过语音、文字、图像等多种形式表达。核心问题在于：感觉运动特征如何整合到语言网络中？研究通过功能磁共振实验，发现额中回后部脑区（55B）在听、说、读、写四种任务中均稳定激活，且在语言产出任务中激活更强。进一步表征分析表明，55B前侧更多编码语义，后侧更多编码语音，支持其作为“感觉运动-语义接口”的功能分化。

此外，55B在功能连接网络中处于枢纽位置，连接语言网络与感觉运动网络，其结构与功能梯度分析也显示该区域处于感知运动与高级联合皮层之间的“陡峭跃升区”，具备跨模态信息整合的生物学基础。该发现为人脑多模态信息对齐机制提供了神经证据，也为当前多模态大模型的设计提供了生物启发的接口思路。在语言预测机制方面，研究通过成语补全实验发现，当最后一个字缺失时（如“恩重如□”），大脑在发音运动相关脑区（如前运动皮层）增强对缺失字语音的表征，而在默认网络脑区（如角回、后扣带回）增强对缺失字语义的表征。尤为重要的是，预测状态下的大脑表征在低维空间中呈现“几何扩张”趋势，提示自上而下的语义提取机制在预测过程中起到关键作用。

在预测误差处理方面，研究进一步发现，当听到错误成语（如“琳琅满天”）时，大脑同时表征预测字、感知字及其间差异。语义预测误差的表征介于预测信息与感知信息之间，在颞叶与额叶均呈现层级性分布，提示大脑可能通过误差信号动态更新内部预测模型。

讲座最后，与会师生就实验设计、脑区功能特异性、自然语言理解中的实时预测等问题展开深入交流。杜忆研究员表示，团队已进一步收集脑磁图数据，未来将结合更高时间分辨率的神经影像技术，揭示语言预测与误差处理的动态网络机制。

本场讲座系统展示了语言神经科学在跨模态整合与预测加工方面的最新进展，融合实验发现与理论建构，为语言理解、人工智能与人脑启发计算模型的研究提供了重要参考。

图/文 张铭钰