大規模言語モデルにおける半導体の課題と解決技術

Challenges and solutions for semiconductors in large language models

要旨：近年の大規模言語モデル（LLM）の急速な発展は，半導体設計に対して従来とは質的に異なる要求を突きつけている。LLMは従来の畳み込みニューラルネットワーク（CNN）と比較して4桁以上のパラメータ数をもち，特にAttentionメカニズムにおける全系列アクセスパターンが，メモリ律速問題を深刻化させている。LLMとCNNのハードウェア要求の根本的相違を分析し，Rooflineモデルを用いて性能律速要因を定量的に検討した結果を示した。現代のGPUでは演算性能がメモリ帯域幅を数百倍上回るため，LLMの自己回帰的推論において膨大なパラメータ読み出しがボトルネックとなる。この課題に対する主要な解決策として，HBMによる高帯域幅化と，INT4・FP4レベルまで進歩した量子化技術を詳述した。今後は量子化のさらなる進歩とハードウェア・ソフトウェアの統合的最適化が，多様な展開環境における実用的なLLM処理の実現に不可欠である。