力学系の考え方—導入的紹介とドーパミン・強化学習に関わる研究への適用例

Dynamical Systems Approach: An Elementary Introduction and Application to Research on Dopamine and Reinforcement Learning

振動・リズム現象をはじめとした神経システムの振舞いを調べるうえで，力学系（dynamical system）の考え方が有用である。本論では，前半でその導入的な紹介を，筆者の1人の講義資料に基づきつつ試みる。後半では，そうした力学系の考え方を用いた，筆者らが行ったドーパミン・強化学習に関わる研究を紹介する。具体的には，学習された価値の減衰を仮定して，ドーパミンの減少による動機づけへの影響の1つの機序を提案した研究を紹介する。

Abstract

In order to analyze the dynamic behavior of neural systems such as oscillations or rhythms, an approach based on the dynamical systems theory may be useful. In the first part of this article, we present an elementary introduction to that approach based on the materials for an author's lecture. In the second part, we introduce our own study related to dopamine and reinforcement learning using that approach, in which we assumed the decay of learned values and propose a possible mechanism of the effects of dopamine depletion on motivation.