「苦い教訓」とは何か　提唱者サットン氏が語る計算資源の限界

チューリング賞受賞者で「苦い教訓The Bitter Lesson」の提唱者として知られるリチャード・サットン氏が、SNSXへの投稿で新たな見解を示しました。氏は、計算資源コンピュートをただ増やすだけでは知能は生まれないと述べ、AI研究はまだ「終わっていない」との考えを示しています。この投稿はAIコミュニティで幅広い議論を呼び起こしました。

OpenAIを離れ新たな学習手法を模索する研究者ジェリー・トゥオレク氏は、苦い教訓は今も成り立つとしつつ、計算量が増えるほどアルゴリズムの選択が重要になると指摘しています。研究者ジェイデン・テオ氏も、苦い教訓が学術研究で有望なアイデアを退ける口実に使われてきたと述べました。あるアイデアが計算量の拡大に耐え続けなくても、AI進歩への貢献になり得ると説明しています。

一方、OpenAIのサム・アルトマンCEOは、大規模言語モデルのスケーリングはまだ尽きていないとの立場です。懐疑論が研究者世代の足を引っ張っていると批判しています。根拠として、OpenAIのモデルが数学者が長年解けなかった予想を反証した事例を挙げました。Anthropicのダリオ・アモデイCEOも同様に、スケーリングによる進歩を「終わりのない虹」と表現しました。

「苦い教訓」とは、サットン氏が2019年に発表した論文で示した考え方です。人間が知識や経験則を組み込んだ複雑な手法よりも、計算資源の増大とともに性能が伸びる汎用的な手法のほうが、最終的には優れた結果を出すという主張です。人間の思い込みに頼らず、計算量と共に伸びるアイデアこそが重要だとする内容で、大規模言語モデルLLMの急成長を支える発想として広く引用されてきました。

ただしサットン氏自身は以前から、LLMをただ巨大化させるだけの手法には限界があると繰り返し述べています。現実世界は無限に複雑であり、どれだけ精巧な人工データ合成データを作っても、それは現実の「ごく一部」を映す模型にすぎないとし、合成データ頼みの開発を「大きな誤り」と評しています。人間の専門知識に依存すること自体が、真のスケーリングを阻む壁になるとも指摘しています。

その代わりに氏が求めるのは、自らの経験から学び続ける「世界モデル」を持つAIエージェントです。インターネット上のテキストだけでは現実世界の複雑さを捉えきれず、現在のLLMは訓練後に学習を止めてしまう点を問題視しています。過去の知識を壊さずに学び続ける仕組みこそ必要だというのが、氏の主張の核心です。