本演示展示语言表征在发育大脑中的成熟路径,以及AI模型如何模拟这一过程。
示意:语音信号从耳朵传入,激活大脑的STG区域。
示意:语言表征强度随年龄增长而增强,12+岁组最强。
示意:语言处理从语音输入到STG音素处理,再到联想皮层的词汇处理。
输入语音 → 神经响应
用于预测大脑如何编码语言信息
神经响应 → 预测语言
用于从大脑活动重建语言内容
示意:编码模型从语言输入预测神经响应,解码模型从神经响应重建语言输入。
2-5岁
12+岁
示意:幼儿的STG已处理语音,而词汇表征在年长者联想皮层更显著。
在时间动态上,语音特征的神经响应在音素出现前即开始,约150毫秒达到峰值后迅速回落。相比之下,词汇特征的神经响应在词语出现前1秒便开始上升,约350毫秒达到峰值,并持续长达2秒。
示意:语音特征响应快而短暂,词汇特征响应慢而持久。
从大脑区域来看,语言表征网络随着年龄增长而扩展。年幼组(2-5岁)在STG有清晰的语言表征,但在IPL、L/IFC和ATL的表征相较于年长组则不明显或缺失。这表明语言功能从核心区域逐渐扩展到更广泛的皮层网络。
示意:语言网络激活从STG核心区随年龄增长扩展到L/IFC、ATL等区域。
引人注目的是,大型语言模型(如wav2vec 2.0处理语音,Llama 3.1处理文本)能够自发捕捉到这种神经发育轨迹。研究显示:
幼儿组 (2-5岁)
年长组 (12+岁)
示意:训练后的LLM(Llama 3.1)在预测大脑活动方面表现更好,尤其是在年长组中,训练带来的提升($ \Delta_T R $)更为显著。
示意:语言信息从底层的语音特征(STG处理)到高层的词汇语义(联想皮层处理)的层级加工过程。
大脑语言发育 & LLM训练的相似轨迹
示意:LLM的训练过程(尤其像Llama 3.1)所学习到的表征,与人类大脑语言表征的成熟过程存在一定的平行关系。
这项研究不仅详细描绘了语言表征在发育大脑中的成熟路径,从早期主要依赖STG处理语音特征,到后续联想皮层参与更高级的词汇和语义处理,而且证明了现代AI模型是模拟和理解人类语言习得神经基础的一个极具前景的工具。这些发现为我们理解人类独特的语言能力以及开发更类人的AI系统提供了深刻见解。