深層学習の隆盛と基盤モデルまでの流れ

Rise of deep learning and evolution to foundation models

要旨：人工知能（AI）分野において基盤モデル（foundation models）の急速な進化は多くの可能性をもたらすが，同時に脅威も生じる。フェイク情報やプロパガンダの生成など悪用が懸念され，インターネット上の汚染や社会的混乱が起こる可能性がある。Transformerモデルをベースとして，自然言語処理（NLP）とコンピュータビジョン（CV）分野で大規模な基盤モデルが登場している。NLP分野ではBERTやGPTシリーズ（ChatGPTを含む）が，CV分野ではViTが革新をもたらしている。これらのモデルは，大規模なデータセットにより学習され，高い汎用性をもっている。CLIPやFlorenceなどの画像・言語モデルも提案されており，ゼロショット学習や少量のサンプルにおいても高精度な認識を可能としている。また，ロボット操作タスクに対応するRT-1のような基盤モデルも登場しており，今後ますますの発展が見込まれている。