大規模言語モデル(LLMs)は自然言語の理解と生成で驚異的な能力を発揮するが、数式や絵文字などの記号的表現の理解には課題がある。例えば「CCCO」という化学式の意味を理解したり、「😢」という絵文字が表す感情を推定したりするのは、LLMsにとって簡単ではない。そこで清華大学のWangらは、記号を言語に変換する「Symbol-to-Language(S2L)」という手法を提案した。S2Lを適用することで、LLMsの記号理解力は大幅に向上したという。その効果と課題について、8つのタスクの検証結果をもとに詳しく解説しよう。
この記事でわかること
・大規模言語モデル(LLMs)の記号理解の課題がわかる
化学式や絵文字など、記号的な表現の理解がLLMsにとって難しいことが明らかになった。
・Symbol-to-Language(S2L)の仕組みがわかる
S2Lは記号を自然言語に変換することで、LLMsの言語理解力を活用する手法である。
・S2Lの効果がわかる
8つのタスクでS2Lを適用した結果、数列の規則性認識では最大50%、化学式の特性予測では最大29.2%の精度向上を達成するなど、大幅な改善が見られた。
・S2Lの課題がわかる
2次元画像の言語化の難しさや、記号の意味の曖昧性への対処など、S2Lにはまだ課題があることがわかった。
・S2Lの可能性がわかる
課題はあるものの、S2Lの発展により、LLMsの活用可能性がさらに広がると期待される。
目次
1 .大規模言語モデルは記号の理解で課題、清華大学チームが解決策「Symbol-to-Language」を提案
近年、ChatGPTに代表される大規模言語モデル(LLMs)は、自然言語の理解と生成において目覚ましい進歩を遂げている。例えば、GPT-3は追加の学習なしに、与えられた問題を直接解く「ゼロショット推論」の能力を披露した。
しかし、数値シーケンス、化学式、絵文字など、記号的な表現の理解と推論においては、LLMsの能力はまだ十分でないという指摘がある。Mitchellらの研究によれば、GPT-4とGPT-4Vの数列帰納による抽象的推論タスクの精度は、それぞれ65%と25%にとどまり、人間の95%を大きく下回っているという。
この問題の原因としては主に2つの点が挙げられる。第一に、LLMsの学習データにおいて、記号的表現の割合が自然言語と比べて著しく少ないこと。第二に、LLMsが記号的表現を十分に理解できていないため、推論能力が損なわれていること、である。
こうした課題に対し、清華大学のWangらの研究チームは、チューニング不要の新手法「Symbol-to-Language(S2L)」を提案した。S2Lのコアアイデアは、記号を同等または近似の自然言語表現に変換することで、LLMsにとってより扱いやすい情報を提供するというものだ。
例えば、化合物の表記法「SMILES」を、LLMsへのプロンプティングにより「Propionylo」などの言語表現に変換する。あるいは、絵文字を「Unicode Dictionary」を用いて「crying face」などのテキストに置き換える。こうした言語情報を元の問題に統合することで、LLMsの強力な言語処理能力を活用しようという狙いである。
Wangらは、S2Lの有効性を8つのタスクで検証した。その範囲は、記号のみの抽象的推論から、絵文字を含む感情分析まで多岐にわたる。使用したLLMsは、GPT-4、ChatGPT、OpenChatなど、APIベースとオープンソースの両方を網羅している。
検証結果や、S2Lのメリット・デメリットについては、次の章で詳しく解説する。AIの専門家でなくとも、大規模言語モデルの課題と、その解決に向けた最新の取り組みを理解することは重要だ。LLMsの活用が広がるこれからの時代を生き抜く上で、知っておくべき知見といえるだろう。
2.記号を言語に変換し大規模言語モデルを活用、「Symbol-to-Language」の仕組み
この章ではS2Lの具体的な仕組みについて解説したい。
S2Lのコアアイデアは、記号をまず自然言語表現に変換し、それを元の問題に組み込むことで、LLMsの強力な自然言語処理能力を活用するというものだ。では、記号から言語への変換は具体的にどのように行われるのだろうか。
Wangらが提示しているのは、主に2つのアプローチである。1つ目は、LLMsへのプロンプティングを用いる方法だ。例えば、化学式「CCCO」という記号を、「次のSMILES表記は何を表していますか?」というプロンプトとともにLLMsに入力し、「プロピオニル」などの言語表現を生成させる。
2つ目は、ルールベースの外部ツールを活用する方法である。例えば、表形式のデータ内の区切り文字「|」や「\n」から、各行の内容とヘッダーを対応づけるPythonコードを書いておく。あるいは、絵文字のUnicodeから対応する名称を引く辞書を用意しておく、といった具合だ。
こうした外部ツールを用いる利点は、LLMsの使用コストを避けられることと、検証済みの言語情報が得られることの2点にある。一方、適用可能なシナリオが限られるというデメリットもある。
変換された言語表現は、元の問題中の記号を直接置換するか、文脈情報として付加される。前者の例としては、Dyck言語の括弧列を「open parenthesis」「close square bracket」などのテキストに全面的に置き換えるケースが挙げられる。
後者の例としては、化学式に加えてその言語的な説明を付記したり、絵文字とその名称を併記したりするケースが該当する。こうして言語情報が付加されることで、LLMsはより多様な観点から問題を理解し、推論できるようになるのだ。
ここで、S2Lのアプローチをフローで整理してみよう。
1. 記号を含む問題が与えられる
2. 記号を言語表現に変換
a. LLMsへのプロンプティング
または
b. 外部ツールの活用
3. 言語表現を元の問題に統合
a. 記号を言語表現で置換
または
b. 言語表現を文脈情報として付加
4. 言語情報が付加された問題をLLMsで処理
以上がS2Lの基本的な流れである。Wangらはこのアプローチを8つのタスクで検証し、抽象的推論やDyck言語などで顕著な精度向上を確認した。
次の章ではS2Lの効果が見られた具体的なタスクと、そこから見えてきたS2Lのメリット・デメリットを詳しく見ていきたい。LLMsの活用範囲を広げる可能性を秘めたS2Lについて、ぜひ理解を深めてほしい。
3.Symbol-to-Languageの効果を徹底検証、8つのタスクで最大50%の精度向上
大規模言語モデル(LLMs)の記号理解力を高める手法「Symbol-to-Language(S2L)」。清華大学のWangらは、その有効性を8つのタスクで検証した。この章では、抽象的推論から表形式データの理解までの5つのタスクについて、具体的な内容とS2Lによる精度向上の詳細を見ていきたい。
1つ目は、「1D-ARC」と呼ばれる抽象的推論のタスクだ。これは、数列のパターンを認識し、次の数列を予測する問題である。例えば、「0,0,1,1,0,0,0,0」という入力が与えられたとき、「0,0,0,0,1,1,0,0」と出力するのが正解となる。
この1D-ARCタスクには、Move-1p、Move-2p、Move-3pの3つのサブタスクがある。これらは、数列中の数字が1つ、2つ、3つ先に移動するパターンを扱う問題だ。例えばMove-2pなら、「0,0,1,1,0,0,0,0」の各数字が2つ先に移動し、「0,0,0,0,1,1,0,0」になる。
GPT-4にS2Lを適用し、数列を「2つの0の後に2つの1が続き、その後に4つの0が続く」といった言語表現に変換したところ、3つのサブタスクで平均21.9%もの精度向上が見られた。特にMove-2pでは、ルールベースの変換を用いることで、最大50%の改善を達成している。
2つ目は、「Dyck Language」と呼ばれる、括弧列の生成タスクだ。これは、開き括弧に対応する閉じ括弧を予測する問題である。例えば、「( { }」という入力に対しては「)」が正解となる。
このタスクでは、各括弧を「open parenthesis」「close square bracket」といった言語表現に変換するS2Lを適用した。その結果、9.5%の精度向上が確認された。括弧の対応関係が言語化されることで、LLMsが括弧列のパターンを理解しやすくなったと考えられる。
3つ目は、化合物の構造式から特性を予測する「Property Prediction」タスクだ。例えば、「CCCO」という化学式が与えられたとき、それが持つ毒性の有無を予測するといった問題である。
このタスクでは、化学式を「プロピオニル」などの言語表現に変換するS2Lを適用した。その結果、最大29.2%の精度向上を達成している。言語情報が付加されることで、LLMsが化学式の意味をより深く理解できるようになったのだろう。
4つ目は、絵文字から感情を推定する「Emotion Analysis of Emojis」だ。 😢 という絵文字が表す感情を、怒り、期待、嫌悪、恐怖、喜び、悲しみ、驚き、信頼の8つの次元でスコア付けする問題である。
ここでは、絵文字をUnicode辞書の名称に変換するS2Lを適用した。例えば、😢 は「crying face」といったテキストに置き換えられる。その結果、人間の評価との相関係数が最大0.130改善した。絵文字の意味が言語化されることで、LLMsがその感情的な意味合いを捉えやすくなったと言える。
5つ目は、表形式のデータに関する質問に答える「Table Understanding」タスクだ。例えば、「|1|Malaysia|3|0|1|4」というテーブルデータが与えられたとき、「How many times has bronze been won total?(銅メダルは全部で何回獲得されましたか?)」という質問に「11」と答えるような問題である。
このタスクでは、表の区切り文字をヘッダーと対応づけるS2Lを適用した。具体的には、「Rank: 1; Nation: Malaysia; Gold: 3; Silver: 0; Bronze: 1; Total: 4」のように、各行の内容をヘッダーと関連づけてテキスト化する。その結果、最大4.5%の精度向上を達成した。表形式のデータが言語的に表現されることで、LLMsがその構造を理解しやすくなったのだろう。
以上、S2Lの検証結果を5つのタスクについて詳しく見てきた。数列、括弧列、化学式、絵文字、表データと、様々な種類の記号的表現がカバーされている。そのいずれにおいても、S2Lによる言語化で大幅な精度向上が確認されたのは興味深い。
LLMsは本来、自然言語の理解に特化したモデルである。それがS2Lという"目の前の記号を言語に置き換える"というシンプルな前処理によって、より幅広い問題に対応できるようになる。S2Lの果たす役割は大きいと言えるだろう。
4.Symbol-to-Languageの効果と課題を考察、大規模言語モデルの活用可能性を広げる手法
大規模言語モデル(LLMs)の記号理解力を高める手法「Symbol-to-Language(S2L)」。清華大学のWangらは、その有効性を8つのタスクで検証し、抽象的推論やDyck言語などで大幅な精度向上を確認した。一方で、言語化が難しい記号への対応などの課題も明らかになった。今回は、S2Lの効果と課題を考察し、LLMsの活用可能性を広げる手法としてのS2Lの意義を探っていきたい。
S2Lが特に効果を発揮したのは、数列の規則性を認識する「1D-ARC」や、括弧列の対応関係を予測する「Dyck Language」といった、抽象的な推論を要するタスクだった。これらのタスクでは、数列を「2つの0の後に2つの1が続く」と言語化したり、括弧を「open parenthesis」「close square bracket」とテキスト表現したりするS2Lを適用することで、最大50%もの精度向上を達成している。
また、化合物の化学式から特性を予測する「Property Prediction」でも、最大29.2%の精度向上が見られた。「CCCO」を「プロピオニル」と言語化することで、LLMsが化学式の意味をより深く理解できるようになったと考えられる。
これらの結果は、S2Lが記号的表現を自然言語に変換することで、LLMsの強力な言語理解力を活用できることを示唆している。LLMsは本来、大量のテキストデータから言語的な知識を学習したモデルである。その言語処理能力を記号的な問題に適用することで、より幅広い問題に対応できるようになるのだ。
一方で、S2Lの適用が難しいケースも明らかになった。例えば、2次元の画像データなどは、言語的な表現に変換するのが容易ではない。「赤い円が上にあり、その下に青い四角がある」といった具合に画像を言語化するのは、1D-ARCの数列などに比べてはるかに複雑だからだ。
また、LLMsが記号の意味を誤って解釈し、不適切な言語表現を生成してしまう可能性もある。例えば、「×」を掛け算の記号と理解するか、バツ印と理解するかで、言語化の結果が大きく異なってくる。こうした曖昧性への対処も、S2Lの課題と言えるだろう。
とはいえ、これらの課題は、S2Lの可能性を否定するものではない。画像認識の分野でも、画像キャプション生成といった技術の発展により、画像を言語化する取り組みが進んでいる。こうした技術をS2Lと組み合わせることで、より広範な記号的表現を扱えるようになると期待される。
また、記号の意味の曖昧性については、文脈情報を考慮することである程度の対処が可能だろう。例えば、数式の文脈では「×」を掛け算と解釈し、チェックボックスの文脈ではバツ印と解釈する、といった具合だ。LLMsへの指示として、こうした文脈を考慮するよう促すことで、誤った言語化を防げる可能性がある。
以上、S2Lの効果と課題について考察してきた。S2Lは、LLMsの活用可能性を広げる画期的な手法であると同時に、いくつかの課題も抱えている。しかし、これらの課題は、S2Lの可能性を否定するものではなく、むしろ発展の余地を示唆していると言えるだろう。
今後、画像言語化技術などとの連携により、S2Lの適用範囲がさらに広がっていくことが期待される。また、文脈情報の活用により、記号の曖昧性の問題も徐々に解消されていくはずだ。こうした発展を通じて、S2Lは、LLMsを真に汎用的な問題解決ツールへと進化させる可能性を秘めている。
記号的な世界と自然言語の世界をつなぐ架け橋として、S2Lの果たす役割はますます大きくなっていくだろう。LLMsの活用の可能性を広げるS2Lの更なる発展に注目したい。