心で思い描いたイメージを復元する技術を開発：医療技術ニュース

量子科学技術研究開発機構らは、人が心に思い描いた風景や物体などの「メンタルイメージ」を脳信号から読み出して、復元することに成功した。

[MONOist]

　量子科学技術研究開発機構は2023年11月30日、人が心に思い描いた風景や物体などの「メンタルイメージ」を脳信号から読み出し、復元することに成功したと発表した。画像の種類を限定することなく、メンタルイメージを復元できた。この成果は、情報通信研究機構 未来ICT研究所、大阪大学との共同研究によるものだ。

研究成果の概略図［クリックで拡大］ 出所：量子科学技術研究開発機構

　実際に人が目で見ている画像をその脳信号から復元することは、脳活動をfMRI（機能的磁気共鳴画像法）で計測する手法で既に成功している。一方、メンタルイメージの復元は、特定種類の画像でしか復元が成功していなかった。

　今回、目で見ている画像とメンタルイメージ時の画像について、脳信号から読み出せる情報の正確さを調べたところ、メンタルイメージ時では色や形、線分といった低次画像情報の正確さが特に低減していることが明らかになった。

脳信号から読み出せる画像情報の正確さ（相関係数）の比較［クリックで拡大］ 出所：量子科学技術研究開発機構

　そこで、目で見ている画像の復元に成功した技術に、生成型AI（人工知能）とベイズ推定、ランジュバン動力学法を組み合わせて、部分的で不正確な情報から画像を復元する新手法を開発した。

　具体的には、まず被験者が見ている画像の特徴をAIで数値化した「採点表」を作成し、併せて同じ画像を被験者に見せた場合の脳活動をfMRIで測定して、画像1200枚分の脳信号データを取得した。

　次に、脳信号データをAIが画像認識の際に用いる「言葉」に翻訳する仕組みとして、画像の線や色、質感、概念などの視覚的な特徴を人の脳信号から読み出す「脳信号翻訳機」を構築した。脳信号翻訳機を用いることで、脳信号データから画像の採点表を得ることができる。

　新手法では、心の中で画像を思い描いているときの脳信号から採点表を取得後、脳信号翻訳機により翻訳して、生成系AIでメンタルイメージを復元する。このとき生成系AIは初めはランダムに画像を作成するが、脳信号から翻訳された採点表を参照しつつ画像の評価、修正、更新を繰り返し、徐々に自然な画像に近づくように描画する。

　画像のもっともらしさ（妥当性）は、統計学におけるベイズ推定を用いて評価。化学分野で分子、原子の運動をシミュレーションする際に使われるランジュバン動力学法を利用することで、生成系AIに妥当性の高い画像を描かせることができる。

　今回の研究では、500回程度の修正が繰り返され、4分程度で脳信号からメンタルイメージを復元できた。

脳信号をもとに生成系AIが画像の修正を繰り返し、メンタルイメージを復元していく様子。画像下の数字は更新回数を示す［クリックで拡大］ 出所：量子科学技術研究開発機構

　復元した画像の評価として、復元されたメンタルイメージから元画像を当てることができるかを調べた。人の知覚に準じた判断ができる機械に対し、2枚のうち元画像を当てる試験をしたところ、従来法の正解率は50.3％だったが、新手法では75.6％と有意に高い正解率が得られた。

　これらの成果は、医療、福祉分野への応用が進むブレインマシン・インタフェース開発の他、認知機能や意識が生まれるメカニズムの解明などに貢献することが期待される。