大規模言語モデル（LLM）は自然言語処理の分野に革新をもたらしているが、セキュリティとプライバシーの課題も浮上している。LLMは機密情報の漏えいやサイバー攻撃の標的となる可能性があり、また偏見や誤情報を助長する恐れもある。本記事では、Sara Abdaliらによる研究論文「Securing Large Language Models: Threats, Vulnerabilities and Responsible Practices」をベースに、LLMのセキュリティとリスク対策の現状を包括的に分析する。攻撃の種類や脆弱性、悪用のリスク、そして緩和戦略とその限界について詳しく解説。さらに、より堅牢で倫理的なLLMの実現に向けた将来の研究の方向性を探る。LLMの安全性を確保するには技術と政策、教育を組み合わせた多面的アプローチが不可欠だ。
この記事でわかること
・LLMがもたらすセキュリティとプライバシーの課題がわかる
- 機密情報の漏えい、学習データの記憶、生成されたコードの潜在的なセキュリティホールなどのリスクがある
・LLMを標的とした敵対的攻撃の種類と脆弱性がわかる
- モデルベース、学習時、推論時の3つのカテゴリに分類され、モデル抽出攻撃、データ汚染、バックドア攻撃、言い換え攻撃、なりすまし攻撃、プロンプトインジェクション攻撃などがある
・LLMの悪用に伴うリスクと誤用の可能性がわかる
- 有害なコンテンツの生成、偏見や差別の助長、著作権侵害、盗作、サイバーセキュリティ攻撃、誤情報の拡散などのリスクがある
・LLMのリスクを軽減するための戦略とその限界がわかる
- レッド/グリーンチーミング、モデル編集、ウォーターマーク、AI生成テキスト検出技術などの緩和戦略があるが、それぞれ限界とトレードオフがある
・LLMのセキュリティ研究における新たな機会と将来の研究の方向性がわかる
- データ漏えいと記憶の防止、コード生成の再現性と透明性の確保、より堅牢で領域適応可能な学習手法の開発、AI生成テキスト検出の基本的な実現可能性と境界の理解などの機会がある
・LLMの安全で倫理的な展開には多面的なアプローチが必要なことがわかる
- 技術革新と政策開発、ユーザー教育を組み合わせたバランスのとれたアプローチが不可欠である
目次
1.大規模言語モデル（LLM）の台頭とセキュリティ・リスクの課題
近年、自然言語処理（NLP）の分野において、大規模言語モデル（LLM）が大きな注目を集めている。LLMは、数百万から数兆のパラメータを持つ深層ニューラルネットワークを用いて構築されており、主にTransformerアーキテクチャを採用している。これらのモデルは、ウェブから収集された膨大なテキストデータで事前学習され、自己教師あり学習、半教師あり学習、強化学習などの手法を活用している。
LLMは、与えられたテキスト入力（プロンプト）に対して、人間のような一貫性のあるテキストを生成する驚異的な能力を示している。例えば、LLMは効果的なコミュニケーションを支援し、大量のテキストを要約したり、複雑な質問に答えたりすることができる。また、詩や物語、コードスニペットなどの多様で創造的なコンテンツを生成することも可能である。
このようなLLMの活用は、個人のユースケースを超えて、教育、研究、科学、芸術、文学など幅広い分野でのイノベーションにも貢献している。具体的には、LLMはテキスト生成、質問応答、感情分析などの様々なNLPタスクで優れた結果を達成し、人間とコンピュータのインタラクション（HCI）の向上にも役立っている。
しかし、LLMの著しい性能向上とともに、セキュリティ、プライバシー、倫理的なプロトコルに関する重大な課題も浮上している。例えば、LLMは主にウェブから収集された大量のテキストデータで学習されるため、機密情報や個人情報が含まれている可能性があり、悪意のある者による漏えいや悪用のリスクが生じる。
また、LLMは偏向した有害な差別的コンテンツを生成したり、知的財産権を侵害したり、企業のセキュリティプロトコルを迂回したりするなどの悪意ある目的にも利用される可能性がある。サイバーセキュリティ攻撃の生成や、誤情報とプロパガンダの拡散などもその一例である。
LLMの責任ある倫理的な利用を促進するためには、公平性、説明責任、透明性、説明可能性の原則に従って、LLMを評価、改善、管理する方法とフレームワークを開発することが不可欠である。この課題には、セキュリティ、倫理、リスク緩和の観点からLLMを包括的かつ学際的に調査することが求められる。
次章では、LLMの利用に伴うセキュリティとプライバシーの具体的な懸念事項について詳しく解説する。
2.LLMがもたらすセキュリティとプライバシーの懸念事項
本章では、機密情報の漏えい、学習データの記憶、生成されたコードの潜在的なセキュリティホールなど、LLMの利用に伴う具体的なリスクについて詳しく解説する。
1. 機密情報の漏えい
LLMは主にウェブから収集された大量のデータで学習されるため、個人を特定可能な情報（PII）の漏えいリスクが懸念される。PIIには、氏名、メールアドレス、電話番号などが含まれる。ウェブ上でPIIが公開されている事実上誰もがプライバシーの問題の影響を受ける可能性がある。したがって、事前学習済みモデルとファインチューニングされたモデルの両方について、現在のLLMのプライバシー状態を評価することが重要である。
研究者たちは、LLMにおけるプライバシー侵害の潜在的リスクを調査している。例えば、Jaydeep et al.は、ファインチューニングされたモデルのプライバシー漏えいを調査し、事前学習データとファインチューニングデータの両方で漏えいが発生することを明らかにした。さらに、アンラーニング（unlearning）によってファインチューニングモデルのPII漏えいを軽減する既存のソリューションが、以前は安全だったデータに潜在的な悪影響を与える可能性があることも発見された。
Kim et al.は、PIIの所有者とモデルプロバイダの両方の観点からプライバシーリスクを評価すべきだと提案している。彼らは、ブラックボックス設定では戦略的に設計されたプロンプトを使用し、ホワイトボックス設定ではより強力なプロンプトをファインチューニングすることで、両者のプライバシーリスクを調査している。
2. 学習データの記憶
LLMのパラメータ数が増加するにつれ、それらがどの程度学習データを記憶するかが懸念されている。LLMが学習データから情報を学習する際、そのデータに含まれる情報がLLMの内部メカニズムへのアクセスを要求するプロンプトによって取得できるかどうかが問題となる。
また、LLMにはさまざまなサイズがあるが、それらが特定のタイプのデータをより容易に記憶する傾向があるのだろうか。De et al.は、9つのLLMを調査し、生成されたデータのうちどの程度が記憶されたものかを確認した。また、Biderman et al.は、異なるサイズのLLMが同じ学習データを記憶するかどうかを調べた。彼らは、より小さなモデルが学習データの一部を記憶する場合、より大きなLLMが同じデータを記憶するとは限らないと提案している。
Nasr et al.は、LLMから10億トークンの出力を生成することで、どの程度の学習データが記憶されているかをさらに調査した。彼らの調査によると、記憶の割合は0.1%から1%の範囲であることがわかった。さらに、ユニークな50トークンの文字列の数を評価するための追加実験を行ったところ、これらのユニークな50-gramは、数十万から数百万までとモデルによって大きく異なることが明らかになった。
3. LLMが生成するコードのセキュリティホール
LLMは、コード要約、コード補完、バグの特定と局所化、プログラム合成など、さまざまなコーディングタスクに役立つ可能性がある。しかし、LLMが悪意のあるツールを生成するために悪用される可能性があることが大きな懸念事項である。
Charan et al.の研究によると、ChatGPTとGoogleのGeminiを使用して、上位のMITRE TTPのコードを生成できることが示されている。この研究によると、ChatGPTは、特にアマチュアにとって、ワイパーやランサムウェアの攻撃のより洗練された種類をすばやく構築することで、より専門的で複雑なタスクを容易に実行できるようにしている。
別の研究では、フィッシング攻撃の生成におけるLLMの使用を調査している。Roy et al.は、ChatGPTに対していくつかの悪意のあるプロンプトを設計し、機能するフィッシングWebサイトを構築している。事前の敵対的なジェイルブレイクを使用せず、反復的な方法のみを使用しても、ChatGPTは、有名な企業に似たフィッシングWebサイトを開発し、フィッシング機関による検出を回避するためによく使用されるいくつかの回避戦略をエミュレートできることが示されている。
次章では、LLMの脆弱性を悪用する敵対的攻撃の種類について詳しく解説する。
3.LLMを標的とした敵対的攻撃の種類とその脆弱性
本章では、LLMの脆弱性を悪用する敵対的攻撃の種類について詳しく説明する。
最近のLLMに関する研究では、特に敵対的攻撃に対する脆弱性が強調されている。The Open Web Application Security Project（OWASP）は、LLMアプリケーションでよく見られる重大な脆弱性のトップ10のリストを作成した。これらの調査結果は、LLMを実世界のシナリオに展開する際に注意を払う必要性を浮き彫りにしている。
プロンプトインジェクション、データ漏えい、不十分なサンドボックス化など、LLMを実際のアプリケーションで悪用することがいかに簡単であるかを示す脆弱性の例がある。LLMの脆弱性をよりわかりやすく体系的に提示するために、本論文ではこれらをモデルベース、学習時、推論時の3つのカテゴリに分類している。各カテゴリは、LLMのライフサイクルの異なる側面を標的とする特定の攻撃に対応している。
1. モデルベースの脆弱性
これらの脆弱性は、LLMの固有の設計とアーキテクチャに起因するものである。顕著な例としては、モデル抽出攻撃とモデルイミテーション攻撃がある。モデル抽出攻撃は、大量のクエリとそれに対応する応答を利用して、LLMの知識やパラメータを抽出するものである。抽出された情報は、ターゲットLLMを近似する縮小パラメータモデルの学習や、LLMやその他のモデルに対する後続の攻撃の実行に使用できる。プロンプト抽出、モデルリーチング、サイドチャネル攻撃は、モデル抽出攻撃の一般的な例である。
2. 学習時の脆弱性
このカテゴリは、モデルの学習段階で導入される脆弱性に対応している。主な問題は、悪意のあるデータが学習セットに挿入されるデータ汚染と、隠れたトリガーがモデル内に埋め込まれるバックドア攻撃である。データ汚染は、LLMの学習データを破損させ、そのパフォーマンス、動作、出力に影響を与える攻撃である。データ汚染は、モデルを害したりハイジャックしたりすることを目的とする悪意のある攻撃者によって意図的に行われる場合と、データの品質とセキュリティ基準を無視する過失のあるデータプロバイダによって偶発的に行われる場合がある。
一方、バックドア攻撃は、モデルに隠れたトリガーを埋め込む悪意のある操作の一種である。良性のサンプルでは正常に動作するが、汚染されたサンプルではパフォーマンスが低下する。この問題は、信頼性とセキュリティが最も重要な通信ネットワークにおいて特に懸念される。入力トリガー、指示トリガー、デモンストレーショントリガーは、LLMにバックドア攻撃を仕掛ける一般的な方法である。
3. 推論時の脆弱性
このカテゴリは、モデルとエンドユーザーやシステムとのインタラクション中に現れる脆弱性に焦点を当てている。ジェイルブレイキング、言い換え、なりすまし、プロンプトインジェクションなど、さまざまな攻撃が含まれ、それぞれがモデルの応答メカニズムを異なる方法で悪用する。
例えば、言い換え攻撃は、言い換えモデルを使用して、AI生成テキストを書き換え、その検出を回避するものである。これにより、AI生成テキストの自然さと人間らしさが向上し、検出器のシグネチャやパターンをバイパスできる。一方、なりすまし攻撃は、攻撃者が変更したLLMを使って特定のLLMを模倣し、類似の出力を作成するものである。なりすまされたLLMは、意図された機能や評判と矛盾する有害な出力や誤解を招く出力を生成するように操作される可能性がある。
次章では、LLMの悪用に伴うリスクと誤用について詳しく解説する。
4.LLMの悪用リスクと誤用の可能性
本章では、LLMの悪用に伴うリスクと誤用の可能性について詳しく説明する。
LLMは、有害なコンテンツを生成したり、悪意のある活動を促進したりする可能性がある。例えば、毒性のある偏見のある有害な言語や誤情報を発信したり、盗作や著作権侵害に関与したり、サイバーセキュリティ攻撃を仕掛けたりするなどである。以下では、LLMの誤用に伴う潜在的なリスクの包括的かつ網羅的ではないリストを示す。さらに、これらのリスクを軽減するための推奨戦略と、その実装に伴う課題についても議論する。
1. LLM応答の事実の不一致と信頼性の欠如
推論時の事実の一貫性を維持することは、LLMが直面する主要な困難の1つである。LLMは、与えられた要求に対して、条件の見落とし、誤解釈、幻覚を示す傾向がある。例えば、Khatun and Brownの研究では、GPT-3が明白な陰謀論やステレオタイプを巧みにフィルタリングする一方で、日常的な誤解や議論に対処する際に失敗することが明らかになった。同様に、Zhou et al.の研究では、ChatGPTやClaudeなどのLLMが、質問に答える際に不確実性を伝えることに失敗していることが明らかになった。
2. LLMが生成する差別、毒性、危害
LLMは、学習データの質と多様性、設計上の選択、意図した用途や意図しない用途によっては、個人やグループに対して差別的、攻撃的、有害な言語を生成する可能性がある。したがって、LLMは倫理的・社会的な課題をもたらし、慎重な評価と規制を必要とする。DeepMindの研究では、LLMに関連するリスクの全体像を構造化し、差別、排除、毒性など6つの特定のリスク領域を概説している。また、データの質と多様性の向上、公平性指標の採用、コンテンツモデレーションと報告メカニズムの確立など、これらのリスクを軽減するための潜在的な戦略についても探求している。
3. LLMが生成するテキスト、著作権侵害、盗作
LLMは、学術的著作における著作権侵害や盗作のリスクを高めることで、学術的著作に重大な脅威となる可能性がある。例えば、著者がゼロから記事を書く代わりにLLMを使用したり、学生が宿題を完成させるためにLLMを使用したりすると、学問的誠実性が損なわれ、課題や試験の目的が達成できなくなる可能性がある。
4. LLMが生成するテキストと誤情報
LLMは、特にオープンドメイン質問応答（ODQA）システムで実装されている場合、誤情報の作成と伝播に関与する可能性がある。直感的に、ODQAシステムにおける誤情報の拡散と戦うための簡単な戦略の1つは、ODQAシステムがさらされる誤情報の割合を減らすこと、言い換えれば、質問者に背景として役立つ段落の数を増やすことである。しかし、研究によると、コンテキストサイズを拡大しても、誤情報による性能低下を軽減する効果はほとんどないか、まったくないことがわかっている。
次章では、これらのリスクを軽減するための戦略について詳しく解説する。
5.LLMのリスクを軽減するための戦略とその限界
本章では、これらのリスクを軽減するための戦略について詳しく説明する。
1. LLMの編集
LLMの編集は、攻撃的なコンテンツの生成や誤った回答の生成などの望ましくない動作に対処するために重要である。LLMの編集では、修正を加える際に、特に幻覚の扱いの際に、情報が格納される場所を特定することが重要となる。経験的に、事実情報はLLMの中間層に存在する傾向があり、常識的な知識は初期層に存在する傾向がある。
LLMの編集手法の例としては、勾配分解を用いたモデル編集ネットワーク（MEND）や、検索拡張反事実モデルを用いた半パラメトリック編集（SERAC）などがある。また、フィードフォワードの重みを修正して事実の関連性の再現を評価するRank-One Model Editing（ROME）や、大規模な「記憶」（連想）でLLMを更新するMass-Editing Memory in a Transformer（MEMIT）なども提案されている。
2. レッド/グリーンチーミング
従来、レッドチーミングとは、セキュリティの脆弱性をテストするために使用される体系的な敵対的攻撃を指す。LLMの台頭に伴い、この用語は従来のサイバーセキュリティを超えて拡大し、AIシステムのプロービング、テスト、攻撃のさまざまな形態を含むようになった。LLMは良性の出力と有害な出力の両方を生成する可能性があるため、レッドチーミングでは、ヘイトスピーチ、暴力の扇動、性的な内容など、潜在的に有害なコンテンツを特定することに重点が置かれる。
一方、グリーンチーミングは、潜在的に安全でないコンテンツがそれでも有益な用途を持つ可能性があるシナリオを探る新しい概念である。これは、LLMが安全でないと考えられるコンテンツを生成するが、目的を果たすようなグレーゾーンの状況を認識するものである。例えば、教育目的で意図的にバグのあるコードを生成するためにLLMを使用することは、このカテゴリに該当する。
3. AI生成テキストの検出
AIが生成したコンテンツが人間が書いたテキストに似てくるにつれ、その違いを見分けることはますます困難な課題になっている。LLMが生成したテキストを人間が書いたコンテンツの中から検出することは、諸刃の剣のようなものである。一方では、違いを識別することでAIが生成したコンテンツの質を高めることができるが、他方では識別プロセスを複雑にしてしまう。
AI生成テキストの検出手法は、ブラックボックス手法とホワイトボックス手法の2つのカテゴリに分類できる。ブラックボックス設定では、任意の入力に対してLLMが生成した出力テキストへのアクセスのみが可能である。一方、ホワイトボックス設定では、各トークンに対するモデル出力確率への追加のアクセスが可能である。
AI生成テキストの検出手法の脆弱性については、ゼロショット攻撃はデータ汚染などの敵対的手法に対して脆弱であることが知られている。研究者は、これらの攻撃に対抗するために教師あり手法を採用しているが、ほとんどの検出戦略は、言い換えやなりすましに対して脆弱なままである。
次章では、LLMのセキュリティ研究における新たな機会と将来の研究の方向性について詳しく解説する。
6.LLMのセキュリティ研究における新たな機会と将来の研究の方向性
本章では、LLMのセキュリティ、脆弱性、リスク緩和研究の分野を進展させるための新たな機会について探る。
1. セキュリティとプライバシー研究の機会
データ漏えいと記憶に関する新たな機会としては、機密データの漏えいを防止するための多面的な手法の開発、記憶を軽減するための新しい手法の開発、記憶のパターンを調査・特定することなどが挙げられる。また、LLMコード生成に関する機会としては、コード生成の再現性と透明性を確保するための手法の開発、セキュリティ分析のための大規模で多様なコードサンプルのコーパスを生成する方法の探索、ソフトウェアセキュリティのさまざまな側面をカバーする現実的で包括的なテストシナリオの設計などが考えられる。
2. 脆弱性研究の機会
LLMの脆弱性に関する基礎的な理解を深めるために、分類タスク以外の多様なNLPアプリケーションに関する実験の拡張、モデルアーキテクチャとモデルサイズの両方のレベルでのLLMの脆弱性の検討、バックドアインジェクションに対する多面的な防御戦略の適応、プロンプトインジェクション研究の範囲の拡大、転移学習とファインチューニングの役割の調査、新たなリスクの特定と軽減、データセットの多様性と代表性の影響の評価などが挙げられる。
3. リスク緩和研究の機会
AI生成テキスト検出手法に関しては、より多様で代表的なデータセットの作成、より高度で解釈可能な特徴量の探索、より堅牢で領域適応可能な学習手法の開発、AI生成テキスト検出の基本的な実現可能性と境界の包括的な理解、AI生成テキスト検出の倫理的・社会的影響の評価などが機会として考えられる。また、LLMの編集に関しては、複数の手法をテストするためのフレームワークの統一プラットフォームの開発、多様なデータセットとネットワーク層にわたるモデル編集研究のさらなる探求などが挙げられる。
レッド/グリーンチーミングについては、LLMへの攻撃の影響を防ぐためのセーフガードの強化、特定のモデルへの攻撃の影響の評価、レッド/グリーンチーミングにおける人間の依存性を減らすための自動化システムの設計などが機会として考えられる。
7.大規模言語モデル（LLM）のセキュリティとリスク緩和に関する総括
本論文では、大規模言語モデル（LLM）のセキュリティとリスク緩和の側面について包括的な分析を行った。
まず、情報漏えい、不正アクセス、安全でないコード生成など、LLMの利用に伴うセキュリティ問題について検討した。次に、LLMを標的とするさまざまな種類の攻撃を探り、それらをモデルベース、学習時、推論時の3つの主要カテゴリに分類した。さらに、偏見、差別、誤情報、盗作、著作権侵害など、LLMの悪用に伴うリスクと誤用、およびLLMをさまざまな領域で適用することの潜在的な社会的・倫理的影響について調査した。
加えて、レッド/グリーンチーミング、モデル編集、ウォーターマーク、AI生成テキスト検出技術など、LLMのセキュリティと堅牢性を向上させるために採用できる緩和戦略の徹底的な評価を行い、各戦略の限界とトレードオフについても議論した。最後に、より効果的かつ効率的な防御メカニズムの開発、LLM開発と展開のための標準とガイドラインの確立、LLM利用に関わるステークホルダー間の協力と意識向上の促進など、この分野における研究の課題と将来の方向性をいくつか特定した。
本論文の知見は、LLMの安全で倫理的な展開を確保するためには、セキュリティと倫理的な考慮事項を効率性とスケーラビリティと同様に重要視するバランスのとれたアプローチが必要であることを強調している。LLMが私たちのデジタルライフのさまざまな側面に深く統合されるようになるにつれ、これらの強力なAIツールの倫理的で安全な展開を確保することは極めて重要である。この課題は、単に技術的なものではなく、これらの強力なAIツールに関連するリスクを軽減するためには、政策開発とユーザー教育も必要とする。
結論として、LLMのセキュリティは、AIのセキュリティと倫理というより広範な問題を包含する複雑で進化し続ける課題である。この課題に取り組むには、攻撃者が使用する進化し続ける戦術の包括的な理解とともに、技術革新と政策開発、ユーザー教育を組み合わせた多面的なアプローチが必要である。LLMへの依存が高まる中、これらのシステムを悪用から守ることはますます重要になるだろう。