• 行動データから｢心の揺れ・葛藤｣を読み解く“逆自由エネルギー原理法”を開発
• 動物の行動データから報酬と好奇心との葛藤を解読することで、好奇心が状況依存的に制御されていることを発見
• 心の揺れ・葛藤の神経基盤の解明、ひいては精神疾患の診断への応用も期待

　私たちは日常の中で、心の揺れや葛藤に直面しながら意思決定を迫られています。些細なものでは、好奇心に従って未だ試したことのないレストランを試すべきか、それとも美味しいことを知っている馴染みのレストランに行くべきかと悩んだりします。また、人生に大きな影響を及ぼすものとして、報酬を求めて高収入で安定した職に就くべきか、それとも不安定ながらも夢や好奇心を追い求めるべきかという葛藤もあります。しかしながら、｢報酬をとるか、好奇心に従うか｣といった心の揺れや葛藤は主観的なもののため、第三者が客観的に数値化することは不可能と考えられてきました。そこで、広島大学大学院統合生命科学研究科データ駆動生物学研究室の本田直樹教授(兼任：京都大学生命科学研究科特命教授、生命創成探究センター客員教授)、広島大学大学院統合生命科学研究科博士課程後期学生の古仲裕貴さんからなる研究グループは、行動データから心理状態の時間変化を読み解く手法｢逆自由エネルギー原理法｣を開発し、動物の行動データから報酬と好奇心との葛藤を解読することに成功しました。本手法により、これまで定性的にしか議論できなかった心理的状態を定量的に評価することが可能となるため、｢心の揺れ・葛藤｣の神経メカニズムの解明に大きく貢献することが期待されます。さらには、過度な好奇心の増減はADHD(注意欠陥多動性障害)や自閉症とも関連すると考えられるため、精神疾患の診断への応用も期待されます。
　本研究成果は、Nature Computational Science誌に2023年5月16日に掲載されました。

　私たちが抱く感情や心の葛藤はどのように生まれ、制御されているのでしょうか？この問いは古代ギリシャから続く、哲学および心理学における主題の一つとなってます。この問いに答えるには、心理状態の時間変化と脳活動を比較する必要があります。しかし、心理状態の定量化は困難であるため、自然科学全般の基礎となっている｢計測データに基づく仮説検証｣はほとんどなされておりませんでした。
そもそも私たちが葛藤してしまうのは、複数の欲求を持っており、それらを同時に叶えることが難しいため、どう意思決定すれば良いのか悩んでしまうからです。例えば、私たちが外食する際にも、｢お気に入りのレストランに行くべきか｣それとも｢新しいレストランを試すべきか｣と悩んだりします。これは正しく、報酬(美味しい料理)と好奇心(未知レストラン)との葛藤です。このような葛藤がアンバランスになると、意思決定が非合理的となります。好奇心が全くないと、既知の報酬に固執して、未知のより高い報酬を見逃してしまうかもしれません。また、好奇心が過度に高いと、常に新しいことを追い求めるため、既知の報酬を逃してしまいます。したがって、心の葛藤を理解するためには、非合理的な意思決定を記述する新しい理論が必要でした。
　これまで意思決定理論として、強化学習や自由エネルギー原理が提唱され、脳科学を主導する理論としての役目を果たしてきました。強化学習は、得られる報酬量を最大化する行動をモデル化しています。一方、自由エネルギー原理は、観測から外界に対する認識をよりアップデートする行動、すなわち観測から得られる情報量を最大化する行動をモデル化しています。しかしながら、これら2つの意思決定モデルは、報酬や情報を最大化するという合理性・最適性に基づいており、合理性から外れた心の揺れや葛藤を表現することはできませんでした。つまり、報酬と好奇心との葛藤が時間と共に変化すると考えられる実際の動物行動を扱うことができなかったのです。

(1)行動タスク：スロットマシン課題
　本研究では、報酬と好奇心との葛藤が生じる行動として、スロットマシン課題(二者択一課題やバンディット課題と呼ばれる)に注目しました(図1a, b)。この課題では、動物は目の前にある2つのスロットマシンのうちの一つを選び、その結果として確率的に報酬が得られます。また動物は各スロットマシンの報酬確率を知らず、また報酬確率自体も時間的に変化します。
　さてこの課題において、1つのスロットマシンを繰り返し選択すると、そのスロットマシンの報酬確率を正しく認識することができるようになります。しかし、もう片方のスロットマシンは選ばれていないため、その報酬確率の認識はどんどん曖昧になってしまいます。そのため、あまり選ばれなかったスロットマシンに対して好奇心が湧き、報酬確率を知りたくなることが予想されます。つまり、このスロットマシン課題を用いることで、｢報酬に対する欲求｣と｢環境(報酬確率)を知りたいという好奇心｣との葛藤を伴う行動データを取得することができるのです。

(2)ReCUモデルの提唱
　私たちは、自由エネルギー原理を拡張することで、心の揺れ・葛藤を伴う意思決定のモデルとして｢Reward-Curiosity(ReCU)モデル｣を構築しました。ReCUモデルでは、それぞれのスロットマシンを選んだときに得られる“報酬”と“情報量”の期待値を見積もり、それらの重み付け和によって、どちらを選択すべきか決断します。報酬と好奇心との葛藤を記述するため、情報量に対する重みを｢好奇心を調整するメタパラメータ｣として導入したことが本モデルの特徴となっています。
　このモデルによって、動物が認識している報酬確率やその確信度(＝自信)に基づいて、意思決定する様子をシミュレーションすることが可能になりました。さらに、報酬や好奇心の度合いに応じて、以下の3つの異なる行動様式が表現されました。

• 報酬が大きいとき      ：報酬に対する貪欲な行動
• 好奇心が正に大きいとき：不確実性を好む探索的な行動
• 好奇心が負に大きいとき：不確実性を嫌う保守的な行動

　これらの結果から、好奇心は私たちヒトや動物の意思決定に大きな影響を及ぼし、しばしば非合理的な行動を引きおこすことが示されました。

(3)行動データから心の揺れ・葛藤を解読
　次に、ReCUモデルに基づいて、行動データから心理状態の時間変化を読み解く手法｢逆自由エネルギー原理法｣を開発しました。本手法では、目に見えない心理状態の時間変化をベイズ推定により読み解くため、粒子スムーザーと呼ばれる機械学習を用いています。
　本手法をラットのスロットマシン課題の行動データに適用したところ、ラットは真の報酬確率を完全に認識しているわけではないものの、報酬確率の増減は認識していることが明らかになりました(図1c)。また、認識に対する自信は選択すればするほど増加し、逆に選択しないと減少することが分かりました(図1c)。
　さらに興味深いことに、ラットの好奇心の値はほとんどの試行で｢負｣であると推定されました(図1d)。すなわち、実験で用いたラットは報酬確率の認識があいまいなスロットマシンを避け、認識が明確なスロットマシンを好んで選択する、保守的な性格を有するということが分かりました。この保守的な行動は、動物が報酬を安定して得ようとするためのものと解釈することができます。
　また、報酬確率の変化に伴って、好奇心は上昇することが分かりました。この結果は、動物は環境の変化を素早く認識し、好奇心を適応的に制御していると解釈することができます。さらには、推定した好奇心と認識とを比較したところ、ラットは報酬確率の認識があいまいになると、好奇心のレベルを積極的に上昇させることが分かりました。このように、動物が現在の認識と不確実性の度合いに応じて、好奇心を適応的に制御していることを定量的に示した報告は、これまでに例がなく、重要な成果と言えます。

　心の葛藤を制御する神経メカニズムは何なのか？この問いは、単に神経活動と動物の行動との比較では解決できません。というのも、葛藤を生み出す心理状態は行動の背後に存在する目に見えないものであり、決して行動そのものではないからです。したがって、心理状態を定義し、動物の行動から潜在的な心理状態を推定した上で、推定された心理状態と神経活動を比較できるようにすることが重要です。本研究で開発された逆自由エネルギー原理法を用いることで、今まで定量的に扱うことが困難であった潜在的な心理状態を行動データから解読することが可能となったのです。これは、心の葛藤を制御する神経メカニズムの解明にとって大きな一歩と言えます。
　また、逆自由エネルギー原理法は精神医学での応用も期待されます。精神疾患の診断は医師による問診に頼っており、定量的な評価が十分になされていないのが現状です。逆自由エネルギー原理法を用いることで、患者の行動データから心理状態を定量的に推定できる可能性があります。例えば、｢ひきこもり｣患者は、何事にも興味がない状態で好奇心が負になっている状態と解釈することができます。このように、逆自由エネルギー原理法は定量的評価が進んでいない精神疾患の診断の現場において、有効なツールとなることが期待されます。

• 著者：Yuki Konaka, Honda Naoki
• タイトル：Decoding reward–curiosity conflict in decision-making from irrational behaviors
• 掲載誌：Nature Computational Science, 2023
• DOI：https://doi.org/10.1038/s43588-023-00439-w

　本研究は、学術変革研究領域(B)(21H05170、計画班代表：本田直樹)、AMED(No. JP21wm0425010)、JST【ムーンショット型研究開発事業目標2050年までに、超早期に疾患の予測・予防をすることができる社会を実現】(JPMJMS2024-9)、自然科学研究機構生命創成探究センターExCELLS連携研究(19-102)、自然科学研究機構分野融合型共同研究事業 共同研究型(No.01112102)の支援を受けたものです。