中脳における報酬予測誤差計算機構

Computation of reward prediction error in the midbrain circuit

　われわれは試行錯誤を繰り返し，自分の置かれた環境からなるべく多くの報酬を得ようと予測的に行動する。この報酬に基づく適応的予測更新過程は強化学習と呼ばれているが，そのとき脳内では何が起こっているのであろうか。長年にわたる研究の積み重ねから，中脳のドーパミン細胞（DA cell）が，強化学習に重要な役割を果たすことが明らかになってきた。DA cellは報酬で条件付けされた手がかり刺激や報酬に対して活動し，DA cellの活動の結果放出されたドーパミンによって出力先のシナプス可塑性が制御され報酬予測の更新が起こり，手がかかり刺激と行動報酬の連合による強化学習が進行していくと考えられている。まさにDA cellは強化学習の教師である。DA cellに対する脳幹の入力信号から強化学習について述べたい。