亚愽娱乐app

    當前位置:首頁 > 新聞中心 > 科研動態

科研動態

神經計算與腦機交互團隊以結構化神經信息解碼技術重建自然及人臉圖像

  • 發表日期:2020-10-27 【 【打印】【關閉】
  •   近日,我所類腦智能研究中心神經計算與腦機交互團隊提出一種結構化神經解碼模型,實現了根據腦活動模式進行自然圖像、人臉等復雜視覺刺激的高質量重建。相關成果已發表于國際期刊IEEE  Transactions on Neural Networks and Learning Systems 

      幾個世紀以來,哲學家和科學家一直在試圖揣測、觀察、理解和破譯大腦是如何運作的,使得人們能夠感知和探索復雜的自然世界。其中,作為人類感知世界最重要的信息通道,人腦視覺系統的加工機制得到了研究者最廣泛的關注。很多研究嘗試利用神經信息編解碼的方法,即通過構建外部刺激與神經活動間的定量關系,來揭示大腦視覺信息加工的機制。課題組前期(TNNLS 2018)曾提出了一種基于貝葉斯深度學習的視覺神經信息解碼方法,并能夠根據記錄到的腦活動信號重建被試所感知到的簡單視覺刺激內容(如手寫數字、字母等圖案)。然而復雜的自然視覺刺激重建仍然是一個難題,針對這一問題,團隊提出了結構化神經信息解碼方法(如圖1)。該方法通過多任務特征解碼的方式揭示了多個典型計算機視覺模型(如VGGResNet)與人腦腹側視覺通路在層次化特征表達方面的聯系。通過高效結構化地利用這種層次化特征與人腦視覺皮層信號表達之間的關系,新方法能夠根據采集到的少量人腦fMRI數據清晰地重建出被試所感知到的復雜自然圖像和人臉刺激內容。該研究為理解大腦解碼過程提供了新的視角, 也有力地促進了非侵入式腦-機接口技術的進步。 

      神經信息編解碼是腦機接口領域的核心研究問題,也是探索人腦復雜功能背后的原理從而促進類腦智能發展的有效途徑。亚愽娱乐app何暉光研究團隊已在該領域持續深耕多年,做出了一系列研究工作。相關工作發表在TNNLS 2018ICME 2019, AAAI 2020PR 2020TCDS 2020, Information Sciences 2020等,其前期工作被MIT Technology Review頭條報道,并獲得ICME 2019 Best Paper Runner-up 

      該論文第一作者為杜長德博士,通訊作者為何暉光研究員。為了促進該領域的持續發展,團隊已將項目代碼以及新采集的腦活動數據集開源。 

      該研究得到了國家基金委重點項目以及中科院先導項目等的支持。 

      1:本文提出的多任務結構化視覺神經信息編解碼框架,包含Voxel2UnitUnit2Pixel兩個階段。 

          

    論文鏈接: 

    數據集:  

    代碼: 

        

    參考文獻: 

    [1] Changde Du, Changying Du, Lijie Huang, Haibao Wang and Huiguang He*. Structured Neural Decoding with Multi-task Transfer Learning of Deep Neural Network Representations. IEEE Transactions on Neural Networks and Learning Systems, 2020.  

    [2] Changde Du, Changying Du, Lijie Huang and Huiguang He*. Conditional Generative Neural Decoding with Structured CNN Feature Prediction. AAAI 2020. 

    [3] Dan Li, Changde Du, Huiguang He*, Semi-supervised cross-modal image generation with generative adversarial networks. Pattern Recognition, 2020 

    [4] H. Wang, L. Huang, C. Du, D. Li, B. Wang and H. He*, "Neural Encoding for Human Visual Cortex with Deep Neural Networks Learning “What" and “Where"," IEEE Transactions on Cognitive and Developmental Systems, 2020 

    [5] Dan Li, Changde Du, Shengpei Wang, Haibao Wang, Huiguang He*, Multi-subject data augmentation for target subject semantic decoding with deep multi-view adversarial learningInformation Sciences, 2020