研究組織・メンバー

A03:脳内情報解読に基づく視覚野と言語野の連関機能解明への挑戦

研究代表者
小林一郎・お茶の水女子大学・教授
WEB準備中

紹介文本文

自然動画像と言語の情報処理を連関しながら行う脳内メカニズムを深層ニューラルネットワーク（DNN）によるモデルを作業モデルとして解明することを目的とする。
具体的には、視覚野と言語野の連関に基づいてヒト脳の内部に生成された高次意味表象をDNNとの対応関係の学習を通じてDNNの中間層の状態として抽出する。個々のモダリティによる中間層の状態を取り出す新たな脳内情報解読手法として、ヒト脳に与える動画像刺激からその内容を示すテキストの生成、及び、音声によってヒト脳に与えられる言語刺激による脳内状態からのその内容を言葉で表現する手法を開発する。これにより、深層ニューラルネットワーク内の中間層に表現された動画を認識する際の状態と動画像刺激によってfMRIによって観測された脳内状態の相関関係を調べ、ヒト脳内における動画像の意味表象とはどのようなものであるかを調査する。同様に、深層ニューラルネットワーク内の中間層に表現された音声刺激による言語理解の状態と音声言語刺激によってfMRIによって観測された脳内状態の相関関係を調べ、ヒト脳内における言語の意味表象とはどのようなものであるかを調査する。また、動画と音声による言語刺激が同時に与えられた場合の脳内状態の意味表象を調べ、視覚野、言語野での個別の処理と双方が連関した処理との差異を調査することにより、当該領野間の情報処理機構の解明を目指す。

文献

Eri Matsuo, Ichiro Kobayashi, Shinji Nishimoto, Hideki Asoh, and Satoshi Nishida. (2017)
Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli.
Neural Information Processing (NIPS)
NIPS2017 Workshop: Visually-Grounded Interaction and Language (ViGIL), Long Beach, U.S.A.
松尾映里，小林一郎，西本伸志，西田知史，麻生英樹，深層学習による画像刺激時のfMRI 脳活動データからの文生成，2K3-OS-33a-2in1，
第31回人工知能学会全国大会，名古屋，5 月23-26 日，2017,査読無.
松尾映里, 小林一郎,西本伸志,西田知史,麻生英樹,深層学習を用いた画像刺激による脳活動データからの説明文生成,第30回人工知能学会全国大会,小倉,6月,2016.査読無.
Eri Matsuo, Ichiro Kobayashi, Shinji Nishimoto, Hideki Asoh, and Satoshi Nishida. (2016)
Generating Natural Language Descriptions for the Language Representation in Human Brain Activity.
Association for Computational Linguistics (ACL2016) SRW, Berlin.