深圳大學未來媒體技術與計算研究所江健民教授基于近年來在腦視覺感知與認知的研究，開創了一種嶄新的腦臆想多媒體研究方向。在全球首次引入“臆想多媒體/Brain Media”的概念和形式，將使傳統的多媒體不僅能夠呈現人眼所看到的外部世界，同時還能夠呈現人腦內部的臆想，包括人們對外來的憧憬，對過去的回憶，以及對人生的感悟等。為實現真正的‘讀心術’走出了基于計算機技術的第一步。相關成果近日發表在多媒體領域國際頂級雜志IEEE Transaction on Multimedia上面(全文鏈接：https://ieeexplore.ieee.org/document/9105088）。 同時于今年以深圳大學為唯一依托單位獲得國家基金委信息學部重點項目資助：“臆想多媒體的深度分析與可視呈現”，在2021-2025這五年內將在目前對腦認知圖像分類研究的基礎上進一步升華到腦認知語義識別的科學研究。為實現基于計算機的讀心術及在人工智能環境下開發腦智的最前沿研究準備雄厚的基礎。該團隊于去年獲批建設廣東省高校重點實驗室：人工智能環境下的腦視覺感知實驗室。
圖1
圖2
如圖1所示，目前的腦科學研究主要采用定向腦激勵模式來完成對人腦相關反應的分析。如心理學領域常用的二維選擇性模式和腦科學領域常用的數字激勵及基于計算機圖型的激勵模式等。這種現象在人機交互領域涉及人腦的研究也比較普遍，如采用人腦控制機器或動物的行為等研究當中，即使涉及復雜的控制過程但實際的交互仍然是以多級二維選擇的方式來實現的。2015年美國斯坦福大學的科研團隊在全球率先使用目標圖像直接激勵人腦的方法（圖2），突破了傳統的腦科學研究僅采用簡單數字或計算機圖形激勵的模式，完成包含6個類別的腦電圖像自動分類研究并取得高達40.68%的準確率。2017年美國佛羅里達大學的科研團隊在此基礎上直接從ImageNet圖像庫內提取40個類別的圖像用來激勵人腦產生相應的腦電信號(EEG)并向全球發布了第一個腦電圖像庫ImageNet-EEG。在同年計算機視覺及人工智能的頂級學術會議CVPR2017上報告了他們采用深度學習的手段對40個類別的圖像腦激勵取得了高達82.9%的分類準確率的科研成果(Spampinato C, Palazzo S, Kavasidis I, et al. “Deep Learning Human Mind for Automated Visual Classification”CVPR2017)。2018年美國康奈爾大學的科研團隊對此數據庫的產生方法提出了質疑，并將相關的實驗結果及分析提交到T-PAMI雜志上發表，目前因為存在爭議仍在評審中。2019年深圳大學江健民教授團隊通過在圖像庫內的預選圖像提取偽腦電信息及其映射的方法，提出一種雙模態深度學習框架，將分類的準確率提高到94.1%。之后又利用人腦不同區域對不同激勵信息存在敏感差異的特色，提出一種帶attention-gate的新型LSTM深度學習方法（圖3），將腦圖像感知分類進一步提高到98.4%。這意味著你在世界的任一地方看一幅圖像，只要將你看這幅圖像時的腦信號傳到深圳，深圳大學的科研人員就能夠以高達98.4%的概率知道你針對這幅圖像的腦思維活動并對其內容做具體的可視化呈現（圖4）。
圖3
針對人腦思維的不確定性及其腦電信息采集的不穩定性，深圳大學科研團隊進一步提出了具有腦特色的深度學習研究，并結合傳統的深度學習理論和方法取得了一系列的初步成果。包括能夠突破目前深度學習需要大量帶標簽訓練數據瓶頸的跨域學習方法，圖像視頻內的顯著性檢測,以及新的三維場景重構模型等。
