詹士 發自 凹非寺

量子位 | 公眾號 QbitAI

人腦是如何快速處理語音的？是不是跟計算機系統差不多？

最新一項研究顯示，

確實十分相近

。

具體來說，當輸入語音時，人腦會給每個單詞打上一個時間戳，放進「快取」中再進行處理，其上限為3個聲音標記。

這項發現來自紐約大學研究團隊，這兩天剛登上「自然通訊」（Nature Communications）。

值得一提的是，科學家還發現不同語音在神經元聽覺皮層會引發不同位置放電，加入位置資訊編碼。

因而，區分「迪奧」與「奧迪」，對我們來說十分容易。

具體他們如何得出這些結論？

往下看。

腦內有個「時間戳」處理語音訊號

此前研究中，科學家更多著眼於大腦如何處理單個聲音，對於「如何快速構建聲音資訊序列」尚存很多未知。

為此，他們找來21位受試者，母語為英語，聽力正常且無神經系統疾病史。

這些受試者需要專心聽2小時口語敘述，內容為4個短篇故事，語速為每分鐘145-205個單詞。

該過程中，每人大腦將接收50518個音素，13798個單詞及1108個句子，腦磁圖（MEG）將記錄他們大腦內的神經反應。

研究者首先觀察了哪些聲音特徵影響了大腦編解碼。

他們確定了31個語言特徵進行觀察，其中包括聲音大小、音色、資訊量、音節、語速、音節在單詞句子裡的位置……

結果顯示，大腦可對聲音訊號進行理解（解碼），平均反應時間在50-300ms之間。在諸多特徵中，聲音大小、頻率、元子音、鼻音、擦音等聲學訊號激發的MEG訊號更高，相比下，資訊量大小及音節位置激發較小。

研究者進一步探究了多個音素輸入的影響。

他們發現人腦對語音解碼平均時間為300ms，這大於了實驗設定的語音音素輸入的78ms，這意味著大腦需要同時處理多個音素。

下圖比較了連續音素輸入下，聽覺系統聲音輸入及神經系統反應的同步解碼情況，能看出兩者同步進行：

此外，人腦內對音素序列的有效快取大於3個。

下圖能看出，同時輸入X個音素後，大腦對其還原能力的情況。3個語音標記內，基本能達到80%以上相似度，其執行原理與「時間戳」類似。

但大於等於4個，還原度就大幅降低：

更進一步，研究者希望弄明白，大腦在同時處理多個語音過程中，如何不混淆它們？

他們先透過實驗發現，同一個語音特徵在腦內啟用的位置是不變的，如下圖P1音素，儘管存在位置不同，但啟用的訊號特徵一致：

但由於音素順序帶有一套動態編碼方案，研究者假定大腦將對輸入音素進行延遲處理。

如下所示，透過觀察不同特徵輸入在大腦內啟用位置的變化，研究團隊發現：

隨時間推移，音量、爆破音、鼻音等聲音特徵訊號仍集中在聽覺皮層傳遞，但音素位置（

最右

）訊號卻傳遞到了額葉位置。

結合上述觀察，研究者認為，雖然大腦存在「時間戳」可並行處理輸入詞語，同時，還透過一套位置的動態編碼防止相鄰語音被混淆。

此外，研究者還發現大腦能動態調整處理序列延遲和快取記憶時長的多少，主要基於輸入詞語的資訊量等特徵，未來還需繼續探索。

最後，認識一下該成果的

研究團隊

。

一作Laura Gwilliams，紐約大學心理系博士生，現在加州大學舊金山分校；

二作Jean-Remi King，同樣來自紐約大學心理系。

參考連結：

［1］ https：//www。nyu。edu/about/news-publications/news/2022/november/our-brains——time-stamp——sounds-to-process-the-words-we-hear。html

［2］https：//www。nature。com/articles/s41467-022-34326-1#citeas

— 完 —

量子位 QbitAI · 頭條號簽約