人類大腦諸多認知活動都與時序信息有關。比如問路時,需要記住指路人給出的一系列指引;學習新的舞蹈動作時,要記住老師演示的一連串動作;唱一首歌或彈奏一段音樂不能倒著進行。在這些情況下,不僅單個內容需要被記住,它們之間的順序也不能混淆。
無論語言溝通、執(zhí)行動作還是情景記憶,本質上都涉及大腦對時序信息的表征(信息在頭腦中的呈現(xiàn)方式)。序列信息編碼被認為是人類語言句法結構的前提,對機器學習領域產生重大影響,但其編碼機制人們卻知之甚少。
2月11日,《科學》發(fā)表中科院腦科學與智能技術卓越創(chuàng)新中心(神經(jīng)科學研究所)研究員王立平團隊、上海腦科學與類腦研究中心副研究員閔斌和北京大學生命科學學院教授唐世明課題組的合作研究成果。研究人員發(fā)現(xiàn)神經(jīng)元以群體編碼形式表征了序列中的空間位置,并在這些表征中發(fā)現(xiàn)了類似的環(huán)狀幾何結構。該研究推翻了經(jīng)典序列工作記憶模型的關鍵假設,為神經(jīng)網(wǎng)絡如何進行符號表征這一難題提供了新見解。
時序信息編碼謎題
“北京冬奧會上,17歲小將蘇翊鳴在坡面障礙技術賽場行云流水般的完美表現(xiàn),就是時序信息和空間信息的完美融合。”中科院院士、神經(jīng)科學和生物物理學家郭愛克說,“在更大的時空尺度上,可以說中國農歷的二十四節(jié)氣也是大自然對序列信息的記憶。”
19世紀初,認知心理學家就開始思考序列信息的編碼方式。序列信息編碼也被認為是人類語言句法結構的前提,機器學習領域對序列翻譯的探索催生了Transformer模型。但對具有時序信息記憶的大腦神經(jīng)編碼機制人們一直未搞清楚。
“獼猴是演化上最接近人類的模式動物,其認知能力、大腦結構與功能更接近人類,是研究時間序列等復雜高級認知功能的最佳模型。”王立平對《中國科學報》說,“因此,我們從獼猴入手,訓練它記憶由多個位置點組成的空間序列,從而探究時序記憶編碼問題。”
實驗中,獼猴面前的屏幕上會依次閃現(xiàn)3個不同的點,獼猴需要在幾秒鐘后,將這些點按之前呈現(xiàn)的順序“匯報”。在“匯報”前的幾秒記憶保持期內,空間序列的信息便以工作記憶的形式被暫時儲存在大腦中。為了記錄大腦神經(jīng)元群體在獼猴進行任務時的活動狀態(tài),研究人員對工作記憶的大本營——外側前額葉皮層進行了雙光子鈣信號成像。“鈣信號可反映神經(jīng)元的脈沖放電活動,序列信息表征的關鍵就在記憶期神經(jīng)元群體的電活動模式之中。”王立平說。
找到大腦中的“屏幕”
大腦如何在記憶期內同時表征序列中多個信息呢?研究人員猜想,獼猴的大腦中也有一塊“屏幕”,獼猴可以把出現(xiàn)過的點記在這個屏幕上。但如果3個點同時在記憶保持期內顯示在這塊“屏幕”上,每個點的次序又該如何體現(xiàn)呢?獼猴的大腦里是否會同時存在3塊不同的“屏幕”,這樣每個“屏幕”只需要記下一個點的信息,而且不會互相干擾。
帶著這些疑問,研究人員分析了鈣成像獲得的高維數(shù)據(jù),發(fā)現(xiàn)可以在高維向量空間里面找到每個次序的信息所對應的二維子空間,即找到其對應的“屏幕”。
“在每個子空間內,不同的點所對應的空間位置與真實視覺刺激的環(huán)狀結構一致。而且,不同次序所對應的子空間接近相互正交,說明大腦確實用3塊不同的‘屏幕’來表征序列信息。”閔斌解釋說。
為了進一步探究大腦是否總是用相同的幾塊“屏幕”記憶不同類型的空間序列,研究人員用機器學習方法,訓練線性分類器區(qū)分不同次序上的空間信息。結果發(fā)現(xiàn),用于編碼次序的“屏幕”是穩(wěn)定通用的。
研究人員還發(fā)現(xiàn),不同次序的子空間之間共享了類似的環(huán)狀結構,只是環(huán)的半徑大小會隨次序的增加而減小。
“一個可能的解釋是,次序靠后的信息所分配到的注意資源更少,導致對應的環(huán)變小、區(qū)分度降低。”該論文共同第一作者、中科院腦科學與智能技術卓越創(chuàng)新中心博士后謝洋對《中國科學報》說,“這一結構也對應了序列記憶的行為表現(xiàn)。如,我們記憶的內容越多,靠后的信息越容易出錯。”
有意思的是,這種在群體水平上由時間調制空間信息幾何結構的編碼性質,并不完全適用于單個神經(jīng)元水平。也就是說,序列記憶的編碼更應關注群體神經(jīng)元性質,而非單個神經(jīng)元。
促進人工智能研究
“這是一篇重要的論文。”郭愛克評價說,“它的科學意義在于揭示了在工作記憶的時間尺度上,序列信息在大腦前額葉皮層的神經(jīng)編碼和表征機制。”
郭愛克認為,該論文的創(chuàng)新性在于以獼猴的序列學習為對象,設計了時間和空間信息兩個線索共存的實驗范式,采用雙光子在體鈣成像技術,記錄了數(shù)千個大腦前額葉皮層神經(jīng)元,發(fā)現(xiàn)了高維神經(jīng)元狀態(tài)空間可以分解為多個二維子空間之和,從而揭示了序列信息的工作記憶在獼猴前額葉皮層表征的簡單幾何結構。
“這個發(fā)現(xiàn)揭示了序列信息編碼利用了降維原則,從而降低了神經(jīng)計算復雜性,將對受腦啟發(fā)的人工智能研究產生影響。”郭愛克說,“證明序列信息中時間和空間的整合發(fā)生在整體水平而不是單神經(jīng)元層面,為70年前卡爾·拉什利提出的理論假設——序列信息是通過創(chuàng)造和維系神經(jīng)活動來進行加工的——提供了實驗數(shù)據(jù)支持。”(記者 陸琦 張雙虎 黃辛)