研究組織・メンバー

A03:脳内情報解読に基づく多領野連関解明への挑戦

研究代表者
小林一郎
お茶の水女子大学・教授
WEBhttp://www.koba.is.ocha.ac.jp/wordpress/

紹介文本文

これまでに、自然な環境下でのヒト脳への刺激を考慮して動画像および音声を視聴した際の脳活動データから文生成する、二つの脳内情報解読手法を開発することによって、ヒトの視覚野および言語野の状態を推定するモデルを構築することを試みてきた。この際、それぞれの脳内状態解読手法の評価を生成された文の精度を測ることによって決めていたが、手法の十分な精度を得るためには、脳活動観測に関してより大きなデータセットを必要とするという認識を得た。一方で、これまでの文生成に基づく脳内情報解読手法から脳内状態を推定することは、その状態を理解し易くするための言わばインタフェースのようなものであり、生成文の精度を踏まえて脳内状態を推定する必然性はない。そのため、本研究では、文生成を行うデコーダ部分を取り除き、エンコーダによって抽出された画像特徴量を脳活動データから推定する回帰モデルを新たに構築する。回帰モデルには、これまでに得られた知見から、Ridge回帰および多層パーセプトロンを適用する。回帰モデルにより推定された画像特徴量に類似した画像を検索し、検索された画像が視覚刺激として与えられた画像と類似したものであるかを評価する。これにより、構築したモデルが正しく脳内状態を推定できているかを評価する。また、音声をテキストとして認識するSpeech-to-Textの深層学習モデルを援用し、音声として与えられた言語刺激下の脳活動データから音声認識に相当する文を生成する手法の開発に取り組む。音声からテキストを生成する深層学習モデルESPnetのエンコーダによって音声から抽出された音声特徴量を脳活動データから推定する回帰モデルを構築する。回帰モデルにより推定された音声特徴量に類似した音声を検索し、検索された音声が言語刺激として与えられた音声と類似したものであるかを評価する。これにより、構築したモデルが正しく脳内状態を推定できるかを評価する。

文献

漆原理乃, 山口裕人, 中井智也, 西本伸志, 小林一郎 (2020)
音声刺激下の脳活動情報による音声特徴量の推定への取り組み
言語処理学会第26回年次大会 p6-7（NLP2020）
張嘉瑩, 小林一郎 (2020)
画像刺激時の脳活動データを用いた脳内情報解読への取り組み
言語処理学会第26回年次大会 p5-10（NLP2020）
Fujiyama C, Nishida S, Nishimoto S, Asoh H, Kobayashi I (2019)
A Study on a Correlation between a Predictive Model of Motion Pictures Imitating the Predictive Coding of the Cerebral Cortex and Brain Activity
Cognitive Computational Neuroscience Berlin, Sep. 13-16.
松尾映里，小林一郎，西本伸志，西田知史，麻生英樹 (2017)
深層学習による画像刺激時のfMRI 脳活動データからの文生成，大会優秀賞（インタラクティブ発表部門）受賞，2K3-OS-33a-2in1，
第31回人工知能学会全国大会 名古屋，5月23-26日