LLMは人間のように自然な対話を可能にする一方、時に誤った回答をすることもある。そこでLLMには自分の思考を見直し、誤りを修正する「内的振り返り能力」の強化が求められている。しかし従来手法には限界があった。そこで登場したのが「Self-Contrast」だ。複数の思考プロセスを比較することでLLMに"内省"を促すこの新手法の実力やいかに？
本記事では、Self-Contrastを提案した論文「Self-Contrast: Better Reflection Through Inconsistent Solving Perspectives」をベースに、その仕組みと可能性を徹底解説する。
この記事でわかること
・大規模言語モデル（LLM）の「内的振り返り能力」の重要性がわかる
LLMが誤った回答を避けるには、自分の思考を客観的に見直し、誤りを修正する能力が不可欠である。
・従来の内的振り返り手法の限界がわかる
単純な自己評価による振り返りでは、自信過剰な評価や支離滅裂なフィードバックが生成され、ほとんど機能しない。
・新手法「Self-Contrast」の仕組みがわかる
複数の異なる解法を出力させ、それらの違いを分析させることで、LLMの思考に幅と深さを持たせる。
・Self-Contrastの実験結果と有効性がわかる
様々なLLMとタスクで一貫して高い効果を示し、数学推論では平均7.2%、機械翻訳では0.95ポイントの精度向上を達成した。
・Self-Contrastの課題と改善の方向性がわかる
小型のLLMでは比較が難しいなどの制約があり、外部ツールの活用などの改善が求められる。
目次
1.大規模言語モデルの「内的振り返り能力」とは？その重要性と限界
LLMは、インターネット上の膨大なテキストデータを機械学習することで、人間のような自然な文章の生成や、質問応答、文章要約など様々なタスクをこなせるようになってきている。
そんなLLMに今求められている重要な能力の一つが、「内的振り返り能力」である。これは、LLM自身が自分の出力した回答を自己評価し、そのフィードバックを基に回答を修正・改善する能力のことだ。
例えば、ユーザーから「3×7=?」という質問を受けたLLMが「21」と回答したとする。通常はこれで終わりだが、内的振り返り能力を持つLLMなら「私の回答は正しいでしょうか？」と自問し、「はい、3×7は21で正解です」と自己評価を行う。逆に「4+9=?」と聞かれて「14」と返答した場合は、「いや、4+9は13の間違いでした。申し訳ありません」と回答を修正することだ。
このように、LLMが外部からの指摘がなくても自らの思考を振り返り、誤りに気づいて正せる能力は、LLMの信頼性と安全性を高めるために非常に重要だと考えられている。LLMを実社会の様々な場面で活用する上で、内的振り返り能力は必須と言っても過言ではないだろう。
では、LLMは本当に自力で的確に振り返って回答の誤りを修正できるのだろうか？残念ながら、最新の研究では、LLMの内的振り返り能力には大きな課題があることが分かってきた。
Zhang らの研究 "Self-Contrast"では、GPTなどの大規模言語モデルに数学の文章題や創造的な翻訳タスクを解かせ、外部からのフィードバックなしで回答を見直させたところ、振り返り前後の精度に有意な変化は見られなかったという。中には振り返りによって精度が下がるケースすらあった。
つまり、LLMは自分の出した回答の善し悪しを正しく判断できていない可能性が高いのだ。これでは内的振り返りが機能するはずもない。Zhang らは、LLMがなぜ自己評価に失敗するのか、その原因を詳しく分析している。
2.大規模言語モデルの内的振り返りはなぜ機能しない？自己評価の限界と課題
LLMが自分の回答を自己評価し、誤りを修正できれば、その信頼性は飛躍的に向上するはずだ。しかし、Zhang らの研究 では、LLMの内的振り返りには大きな課題があることが明らかになった。
彼らがGPT-3.5やLlama、GPT-4などの複数のLLMで数学推論やクリエイティブな翻訳タスクを行わせ、振り返り前後の精度を評価したところ、驚くべき結果が判明した。振り返りによる精度の向上は限定的で、統計的に有意でないケースがほとんどだったのだ。
例えば、GPT-3.5による数学推論タスク「GSM8K」では、振り返り前の精度が76.6%だったのに対し、振り返り後はわずか75.8%とむしろ低下した。同様に、翻訳タスク「CommonMT」でも、振り返り前の69.1%から振り返り後は69.3%とほとんど変化がなかった。他のLLMでも概ね同様の結果だった。
では、LLMの内的振り返りが効果を発揮しない原因は何なのか？Zhang らは、LLMが自己評価時に生成するフィードバックの内容を詳しく分析することで、その理由を探った。
解析の結果、LLMの自己評価フィードバックの実に46.7%が「過去の回答は完璧で修正の必要がない」という過剰な自信に溢れたものだったという。例えば、明らかに誤った数式を解いておきながら「私の解答は間違いありません」などと言い張るのだ。
一方で、同じ回答を複数回評価させると、45.7%のケースでLLMは全く異なるフィードバックを返した。つまり、自分が数秒前に言ったことすら覚えておらず、支離滅裂なのである。過去の回答が正しいか間違っているか、LLMに一貫した判断基準はないようだ。
こうした自己評価の「自信過剰さ」と「不整合さ」が、LLMの内的振り返りが機能しない大きな原因だとZhang らは指摘する。要するに、LLMは自分の思考を客観的に評価することが苦手で、内省を通じて誤りに気づくのは難しいということだ。
Zhang らの分析から、LLMの内的振り返り能力には大きな限界があることが分かった。しかし彼らは、LLMに自己評価ではなく「自己比較」をさせることで、振り返りのボトルネックを解消できると考えたのだ。
3.LLMの振り返り能力を引き出す新手法「Self-Contrast」とは？自己比較で思考を深化
前章までで、LLMは自分の回答を客観的に評価することが苦手で、自己評価のフィードバックは過剰な自信に溢れていたり、支離滅裂だったりすることが分かった。
しかし、Zhang らの研究チームはLLMの振り返り能力のボトルネックは「自己評価」そのものにあると考え、新しいアプローチ「Self-Contrast」を提案した。
Self-Contrastの基本的なアイデアは至ってシンプルだ。LLMに1つの回答を評価させるのではなく、複数の異なる回答を比較させるのである。具体的には以下の3ステップからなる。
①多様な解法の探索
ユーザーの問題に対し、LLMに複数の異なる解法を出力させる。例えば、数学の問題なら「代数的に解け」「図で表現しながら解け」「類題を参考にせよ」など、様々な角度からの指示を与える。
②解法間の違いの比較
異なる解法から生成された複数の回答を見比べ、LLMにその違いを列挙させる。ここで重要なのは、単に結果の違いだけでなく、途中の思考プロセスの違いにも注目させること。
③チェックリストの生成
②で洗い出した違いを基に、LLMにチェックリストを作らせる。「解の導出過程で使った公式は合っているか」「そもそも問題文の解釈を誤っていないか」など、回答を見直す際の着眼点をリストアップさせるのだ。
つまりSelf-Contrastとは、複数の思考の流れを互いに比較し、矛盾点を炙り出すことでLLMに深く考えさせる手法と言える。自己評価よりも自己比較の方が、LLMにとって取り組みやすいタスクなのだろう。
例えば、中国語の比喩表現を英訳するタスクで、あるLLMが "被枪毙"という言葉を"shot to death"と直訳したとする。Self-Contrastでは、これとは別の訳し方、例えば"This plan was axed"といった表現も生成させる。そして2つの訳文を比べさせることで、"shot to death"では比喩が伝わらない点に気づかせるのだ。
このようにSelf-Contrastは、LLMの思考に幅と深さを与え、振り返りを促進する画期的な手法と言える。ではSelf-Contrastは実際のタスクでどの程度の効果を発揮するのか。
4.自己比較で振り返り能力が大幅向上！Self-Contrastの実力をデータが証明
Self-Contrastは、LLMに複数の解法を生成させ、それらを比較させることで思考を深化させるアプローチだ。果たしてSelf-Contrastは本当にLLMの振り返りを助けるのだろうか？
Zhang らの研究チームは、数学推論と創造的翻訳という2つのタスクで、Self-Contrastの有効性を検証した。比較対象として、素朴な振り返り手法や、複数モデルの組み合わせなども評価している。実験には、GPT-3.5やGPT-4、Llama-2などの著名なLLMが用いられた。
結果は、数学推論タスクでは、Self-Contrastによって平均7.2%もの精度向上が見られた。例えばGPT-3.5では、振り返り前の精度が76.6%だったのが、Self-Contrast適用後には84.4%向上した。GPT-4でも、93.9%から95.4%へと誤り率が減少した。
翻訳タスクでも同様の傾向が見られた。Self-Contrastによって平均0.95ポイントのBLEURTスコア向上が達成された。BLEURTスコアとは機械翻訳の品質を測る指標の一つだ。0.95ポイントの向上は、人間にも分かる品質の違いに相当する。
これに対し、単純に自己評価させる従来の振り返り手法では、数学で-0.51%、翻訳で-1.6ポイントと、むしろ精度が下がるケースすらあった。Self-Contrastの優位性は明白と言えるだろう。
また、自信過剰な振り返りによる悪影響（Wrong→Wrong）や、正解を不正解に修正する振り返り（Correct→Wrong）の発生率も大幅に抑えられた。GPT-3.5の数学推論では、Wrong→Wrongが30.8%、Correct→Wrongは78.9%も減少したという。
Self-Contrastのもう一つの魅力は、幅広いモデル・タスクで一貫して効果を発揮する汎用性の高さだ。実験では、大小様々なLLMで数学推論と翻訳の両方のタスクで精度向上が確認された。GPT-4のような超大型モデルでもLlama-2のような比較的小さなモデルでも、ある程度の効果が期待できそうだ。
以上のように、Self-Contrastの有効性は実験データによって裏付けられている。LLMの思考に幅と深さを与えることで、振り返り能力を大きく引き上げることに成功したのだ。LLMの実用化に向けて、Self-Contrastは大きな一歩となるかもしれない。
5.Self-Contrast、その可能性と展望とは
今までLLMの「内的振り返り能力」に焦点を当て、その重要性と限界、そして新たなアプローチ「Self-Contrast」について見てきた。
LLMは人間のような自然な対話を可能にする一方で、時に誤った回答や偏った見解を示すことがある。これを防ぐために、LLMには自分の思考を客観的に見直し、誤りを修正する「内的振り返り能力」が求められる。
しかし、従来の内的振り返りは、自己評価の形で行われることが多く、LLMの苦手分野だった。自信過剰な評価や支離滅裂なフィードバックが生成され、振り返りがほとんど機能しないことが明らかになったのだ。
そこでZhang らの研究チームは、複数の思考プロセスを比較する「Self-Contrast」という画期的な手法を考案した。LLMに1つの回答を評価させるのではなく、複数の異なる解法を出力させ、それらの違いを分析させることで、思考に幅と深さを持たせるのだ。
実験の結果、Self-Contrastは様々なLLMとタスクで一貫して高い効果を示した。数学推論では平均7.2%、機械翻訳では0.95ポイントもの精度向上を達成。自己評価による単純な振り返りをはるかに上回る成果と言える。
Self-Contrastは、LLMの実用化に向けた大きな一歩だ。LLMを医療や金融、教育など重要な意思決定に活用するには、高い信頼性と説明責任が不可欠である。Self-Contrastは、LLMに自分の思考を見直させ、誤りを減らすことで、この難題に挑む有力な手段となるだろう。
もちろん、Self-Contrastにも課題はある。より小型のLLMでは比較による振り返りが難しいなど、モデルのサイズによる制約がある。比較を外部ツールに任せるなどの改良も検討に値する。
それでもSelf-Contrastの可能性は大きい。様々なモデルとタスクで効果が確認された汎用性の高さは、将来のLLM開発の指針になるはずだ。人間のように柔軟に考え、自らを高めていく「思考するLLM」の実現に、Self-Contrastは大きく貢献してくれるだろう。