サイバー犯罪者ごとに異なる LLM に対する認識と使用目的

本記事は Sophos X-Ops の独自調査に基づいていますが、本記事執筆中に、Trend Micro 社が最近このトピックに関する独自の調査を発表したことを知りました。いくつかの分野における私たちの調査は、Trend Micro 社の調査結果の一部を確認し、検証するものです。

フォーラム

今回の調査では、4 件のフォーラムに焦点を当てました。

• Exploit: 有名なロシア語のフォーラムで、サービスとしてのアクセス (AaaS) の掲載に重点を置いていますが、その他の不正コンテンツ (マルウェア、データリーク、情報窃取ツールのログ、認証情報など) の売買や、さまざまなサイバー犯罪トピックに関する幅広い議論もされています。
• XSS: 有名なロシア語フォーラムです。Exploit と同様に定評のあるフォーラムで、マーケットプレイスおよび幅広い議論やイニシアティブの場を提供しています。
• Breach Forums: 2022 年に RaidForums が閉鎖された後、代わって出現した英語のフォーラムです。Breach Forums の初期バージョンも 2023 年に一度閉鎖されています。Breach Forums はデータベース、認証情報、個人情報などのデータリークを専門としています。
• スクリプトキディが多いことで有名な、長期にわたって運営されている英語のフォーラムです。ただし、一部ユーザーの高度なマルウェアやインシデントへの関与も報告されています。

注意事項: 本記事で論じられている意見は、すべての攻撃者の態度や信念を代表するものではなく、定性的な調査やインタビューから得られたものではありません。この調査は、上述のフォーラムで現在行われている LLM 関連の議論や内容を探索的に評価したものだと考えてください。

調査結果

最初に気づいたことの一つは、どのフォーラムを見ても、AI は必ずしもホットな話題ではないということです。上述のうち 2 件のフォーラムでは、AI に関する投稿は 100 件にも満たなかった一方、暗号通貨に関する投稿は同じ期間中に 1000 件近くありました。

この食い違いについて確固たる結論を出すにはさらなる調査が必要ですが、この数字は、フォーラムにおける LLM 関連の議論が爆発的に、少なくともたとえば LinkedIn ほど増加しているわけではないことを示しています。この事実は、多くのサイバー犯罪者が生成 AI はまだ (少なくとも、比較的成熟した、確立したテクノロジーとして現実世界との関連性が大きい暗号通貨と比較して) 発展途上にあると考えているからかもしれません。また、LinkedIn の一部のユーザーとは異なり、攻撃者は、黎明期のテクノロジーの意味について考えても得られるものはほとんどありません。

もちろん、調査対象となったのは上記 4 件のフォーラムだけであり、LLM をめぐる活発な議論が、他のあまり目立たない媒体で行われている可能性は十分あります。

ジェイルブレイク

Trend Micro 社のレポートでも指摘されているように、フォーラムにおける投稿のかなりの部分が他のソースから提供された、あるいはフォーラムのメンバーによって共有されたジェイルブレイクに焦点を当てていることがわかりました (この文脈における「ジェイルブレイク」とは、有害、違法、または不適切な応答を返しそうになると行われる自己検閲を回避するように LLM を騙す手段を指します)。

図 1: 広く知られている「DAN」ジェイルブレイクの詳細を共有するユーザー つです。

図 2: ジェイルブレイクに失敗した詳細を共有する Breach Forums のユーザー

図 3: ジェイルブレイクの手法を共有するフォーラムユーザー

注目すべき事柄のように思われるかもしれませんが、ジェイルブレイクはソーシャルメディアの投稿、さまざまなジェイルブレイクを含む専用の Web サイト、トピックに関連するユーザーコミュニティ、および YouTube の動画など、インターネット上でも広く共有されています。

攻撃者は、経験とスキルを持ち合わせているため、新しいジェイルブレイクを開発するのに有利だという主張がありますが、その証拠はほとんど見つかりませんでした。

販売されるアカウント

一般的に、LLM に関連する投稿の多くは、侵害された ChatGPT アカウントの販売でした。当然ながら、この傾向は特に Breach Forums で顕著でした。

図 4: Breach Forums で販売されている ChatGPT アカウントの一部

攻撃者は明らかに新しいプラットフォームでアカウントを侵害し、販売する機会を活用しています。ただし、これらのアカウントの標的となるユーザーと、アカウントを購入した人物がその ChatGPT アカウントで何をしようとしているのかという点は明らかではありません。過去のクエリにアクセスして機密情報を入手したり、アクセス権を使用して独自のクエリを実行したり、パスワードが使い回されていないかを確認したりする可能性はあります。

さまざまな GPT デリバティブ

さらに興味深かったのは、Trend Micro 社のレポートでも報告されている通り、WormGPT と FraudGPT 以外にもさまざまな GPT デリバティブが公開されていることです。調査を通じて、フォーラムでサービスとして販売されている、または別の場所で開発され、フォーラムのユーザーと共有されているモデルを他に 8 件確認しました。

1. XXXGPT
2. Evil-GPT
3. WolfGPT
4. BlackHatGPT
5. DarkGPT
6. HackBot
7. PentesterGPT
8. PrivateGPT

しかし、これらのツールに対する反応はさまざまでした。試用や購入に熱心なユーザーもいた一方、その能力や新規性に疑いを抱くユーザーも多くいました。また、ツールの開発者を詐欺師だとして非難し、敵意をむき出しにする人もいました。

WormGPT

2023 年 6 月にリリースされた WormGPT は、LLM GPT-J 6B をベースに作られたとされるプライベートチャットボットサービスで、いくつかの犯罪フォーラムで商用サービスとして提供されていました。多くのサイバー犯罪サービスやツールと同様、このサービスも、ポスターやサンプルを活用した巧妙な宣伝キャンペーンとともにリリースされました。

図 5: 2023 年 7 月に WormGPT を宣伝する開発者

図 6: 開発者のプロモーション資料から確認できる、WormGPT のクエリとレスポンスの例

WormGPT が実際の攻撃をどの程度促進したかは不明です。しかし、このプロジェクトはメディアの注目をかなり集めました。おそらくはそのため、開発者はまずユーザーが利用できる機能の一部 (ビジネスメールの侵害やクレジットカードの悪用を含む) を制限し、その後 2023 年 8 月に完全に公開を停止しました。

図 7: 8 月初旬にプロジェクトの変更を発表する WormGPT 開発者の一人

図 8: 図 7 の翌日、WormGPT プロジェクトの終了を知らせる投稿

WormGPT の終了を告げるアナウンスの中で、開発者はプロジェクトの終了を決定した主な理由として、メディアの注目を浴びたことを挙げています。また、次のようにも述べています。「結局のところ、WormGPT は制約を受けない ChatGPT に過ぎません。インターネット上の誰でも、広く知られたジェイルブレイクテクニックを採用でき、少なくとも同じような結果を得られます。」

WormGPT の終了を残念がるユーザーがいた一方で、苛立ちをあらわにするユーザーもいました。ある HackForums のユーザーは、ライセンスが機能しなくなったことを指摘し、Hackforums および XXS のユーザーの双方が、プロジェクト自体が詐欺だと主張しました。

図 9: WormGPT は詐欺だと主張する Hackforums のユーザー

図 10: 同じ主張をする XSS ユーザー。広くメディアの注目を浴びているため、このプロジェクトは終了するという元のコメントにも注目してください。

FraudGPT

同じ批判は FraudGPT にも浴びせられており、他のユーザーもその能力を疑問視しています。たとえば、ある Hackforums のユーザーは、FraudGPT が「ウイルス対策ソフトウェアが検出できないマルウェア群」を生成できるという主張が正しいかどうかを尋ねました。そのユーザーに対して、別のユーザーが詳しい見解を提供しました。

図 11: GPT や LLM の有用性に懐疑的な Hackforums のユーザー

悪意のある GPT サービスに関しては、このような態度が広がっているようです。

XXXGPT

XXXGPT は 2023 年 7 月に XSS で発表されました。WormGPT と同様、宣伝用ポスターなどとともに鳴り物入りで登場し、「検閲や制限のない、(中略) パーソナライズされたボット AI のカスタマイズを提供する画期的なサービス」を月額 90 ドルで提供すると主張しました。

図 12: XXXGPT の宣伝ポスターの一つ。スペルミス (正しい綴りは BARD ですが、BART となっています) を含んでいます。

しかし、この発表には批判もありました。あるユーザーは、単なるジェイルブレイクプロンプトではないかと疑い、販売されているサービスそのものに疑問を呈しました。

図 13: XXXGPT はただのプロンプトではないかと問い合わせるユーザー

別のユーザーが試用版の XXXGPT をテストしたところ、やはり自己検閲を経た回答が返ってきました。

図 14: XXXGPT デモではマルウェアを生成できなかったとするユーザー

このプロジェクトの現状は不明です。

Evil-GPT

Evil-GPT は 2023 年 8 月に Breach Forums で発表され、WormGPT の代替品として 10 ドルという低価格で提供されると宣伝されました。WormGPT や XXXGPT とは異なり、特段目を引くグラフィックや機能はなく、サンプルクエリのスクリーンショットが掲載されているだけでした。

ユーザーはこの発表に好意的な反応を示しており、あるユーザーは「ブラックハット的な質問や複雑なマルウェアのコーディングには実用的ではないが、(中略) 遊んでみる価値はあるかもしれない」と述べています。

図 15: Evil-GPT を好意的に評価する Hackforums のモデレーター

宣伝内容やユーザーレビューから、Evil-GPT は「予算に合致する」選択肢 (おそらく他の悪質な GPT サービスと比べると機能は限定的でも「クールなおもちゃ」として扱えるもの) を求めているユーザーを対象にしていると評価できます。

その他の GPT デリバティブ

WormGPT、FraudGPT、XXXGPT、Evil-GPTに加え、あまり注目されておらず、評価が確認できない派生サービスもいくつか発見されました。

WolfGPT

WolfGPT は、「WormGPT と ChatGPT の競合であり、[中略] マルウェアを暗号化し、フィッシングテキストを作成」できる Python ベースのツールだと主張するユーザーによって XSS で紹介されました。このツールは GitHub のリポジトリにあるようですが、ドキュメントはありません。Trend Micro 社の記事では、WolfGPT は Telegram チャンネルでも宣伝されており、GitHub のコードは ChatGPT の AI の Python ラッパーのようだと指摘されています。

図 16: WolfGPT の GitHub リポジトリ

BlackHatGPT

Hackforums で発表されたこのツールは、検閲されない ChatGPT を謳っています。

図 17: Hackforums での BlachHatGPT の発表

DarkGPT

Hackforums ユーザーによる別のプロジェクト DarkGPT も、自己検閲を行わない ChatGPT だと主張しています。興味深いことに、このユーザーは DarkGPT が匿名で使用できるとしていますが、匿名性がどのように実現されているかは不明です。

HackBot

WolfGPT と同様 HackBot も、あるユーザーが GitHub リポジトリを介して Breach Forums のコミュニティと共有しています。HackBot は上記の他のサービスとは異なり、明確に悪意のあるサービスではなく、セキュリティ研究者や侵入テスト担当者を対象にしているとされています。

図 18: Breach Forums における HackBot プロジェクトの説明

PentesterGPT

また、セキュリティをテーマにしたもう 1 件の GPT サービス、PentesterGPT も確認されています。

図 19: PentesterGPT を共有する Breach Forums のユーザー

PrivateGPT

Hackforums で少し言及されたのを確認しただけですが、PrivateGPT はオフラインの LLM だと主張しています。Hackforums のあるユーザーは、PrivateGPT で使用する「ハッキングリソース」の収集に興味を示していました。一方、PrivateGPT を悪意のある目的に使用する兆候は確認されませんでした。

図 20: PrivateGPT で使用するリポジトリについての共同作業を提案する Hackfoums のユーザー

全体として、GPT サービスは予想以上に多く、ユーザーからの関心や熱意も見られましたが、無関心であったり、敵対的な反応を示すユーザーも多くいました。

図 21: 「GPT の平凡なジェイルブレイク」にお金を払うことについて警告する Hackforums のユーザー

アプリケーション

ChatGPT のデリバティブに加え、攻撃者が LLM をどのように利用しているのか、あるいは利用しようとしているのかを調査し、再度雑然とした結果を得ました。

アイデアと意欲

より高度で専門化された攻撃者が頻繁に利用するフォーラム (特に Exploit) では、AI に関連した意欲的な議論が沸き起こっており、ユーザーは実現可能性やアイデア、将来的な応用可能性の探求に関心を抱いていることがわかりました。

図 22: 「アイデアを共有するため」にスレッドを開く Exploit のユーザー

Exploit や XSS のユーザーが AI を使ってマルウェアを生成しようとした形跡はほとんど見られませんでした (一方、次の項目で紹介する攻撃ツールはいくつか確認されました)。

図 23: ソーシャルエンジニアリング目的で人間の声をエミュレートすることに興味を示す Exploit ユーザー

Breach Forums や Hackforums といったローエンドのフォーラムでは、この傾向は事実上逆転しており、向上心にあふれた考え方はほとんど見られず、実地実験や概念実証 (PoC)、スクリプトが多く見られました。この事実は、熟練した攻撃者ほど、「少なくともサイバー犯罪への実用的な応用に関しては、LLM はまだ発展途上であり、将来的な応用の可能性に重点を置いている」という見解を持っていることを示しているのかもしれません。逆に、あまり熟練していない攻撃者は、限界を顧みず、今存在するテクノロジーで何かやってみようとするのかもしれません。

マルウェア

Breach Forums や Hackforums では、RAT、キーロガー、情報窃取ツールなど、AI を使用して生成したコードをユーザーが共有している事例が複数確認されました。

図 24: 永続性と UAC バイパスを備えており、VirusTotal で検出されない PowerShell キーロガーを作成したと主張する Hackforums のユーザー

図 25: Hackforums の別のユーザーは、ChatGPT の制限を迂回できなかったため、代わりに IP アドレスをテキストファイルにロギングするスクリプトから始めて、「一歩ずつ」マルウェアを作成することを計画していました。

しかし、こうした試みの中には懐疑的なものもありました。

図 26: ChatGPT を使わずとも Google で検索すれば十分だと主張するユーザー

図 27: AI が生成したコードは検出されやすいのではないかと懸念を示す Exploit のユーザー

Sophos X-Ops が Breach Forums や Hackforums で観察した、AI で生成されたマルウェアは、まったく斬新あるいは高度なものではありませんでした。また、理由は明確ではありませんが、そのほとんどが Python で作成されたものでした。AI を用いて高度なマルウェアを作成するのは不可能だと主張するわけではありませんが、少なくとも私たちが調査した投稿には高度なマルウェアの痕跡は認められませんでした。

ツール

しかし、一部のフォーラムユーザーは、マルウェアではなく、攻撃ツールの開発に LLM を使用する可能性を模索していることがわかりました。たとえば Exploit では、あるユーザーが大量の RDP ブルートフォース (総当り) スクリプトを共有しているのが確認されました。

図 28: Exploit で共有されている大量の RDP ブルートフォースツールの一部

Hackforums では、あるユーザーが ChatGPT を使ってバグ報奨金の書き込みを要約するスクリプトを共有していました。

図 29: バグ報奨金の書き込みを要約するスクリプトを共有する Hackforums のユーザー

また時折、ChatGPT のアプリケーションを必要とするユーザーが、仕方なく使っている場合があることに気づきました。たとえば、上記のバグ報奨金要約スクリプトを共有したユーザーは、次のようなスクリプトも共有しています。

1. ChatGPT に質問する
2. 回答が「AI 言語モデルとして……」で始まる場合、その質問を検索クエリとして Google で検索する
3. Google の検索結果をコピーする
4. ChatGPT に同じ質問をして、回答は Google をスクレイピングした結果から持ってくるように指定する
5. それでも ChatGPT が「AI 言語モデルとして…….」と答えるようであれば、ChatGPT に質問を Google 検索に言い換えてもらう。その検索を実行した上で、ステップ 3 と 4 を繰り返す
6. ChatGPT が実行可能な回答を出すまで、上述の手順を 5 回くり返す

図 30: Hackforums で共有された ChatGPT/Google のスクリプト。

提供されたスクリプトを試したわけではありませんが、おそらくほとんどのユーザーは最後まで完遂する前に諦め、Google で検索することを選ぶでしょう。

ソーシャルエンジニアリング

LLM の応用例として最も懸念されるのは、ソーシャルエンジニアリングでしょう。一部の攻撃者はこの領域における LLM のポテンシャルに気づいています。私たちは、 CryptoRom 詐欺に関する独自の調査でも、この傾向に注目しています。

図 31: ChatGPT を使って不正なスマートコントラクトを生成したと主張するユーザー

図 32: 他国のユーザーを標的にする場合、Google 翻訳ではなく ChatGPT を使ってテキストを翻訳することを提案する別のユーザー

コーディングと開発

攻撃者が LLM を効果的に使用していると考えられるもう一つの分野は、マルウェア以外の開発です。特に Hackforums では、ありふれたコーディング作業、テストデータの生成、多言語へのライブラリ移植のために LLM を使用していると複数のユーザーが報告しています。ただし、一部の結果は必ずしも正しくなく、手作業での修正を必要とすることもあります。

図 33: ChatGPT を使ったコード変換について議論する Hackforums のユーザー

フォーラムの強化

Hackforums と XSS の両方で、ユーザーはそれぞれのコミュニティの利益のため、フォーラムの強化を目的として LLM を使用することを提案しています。

たとえば Hackforums では、AI 関連のスクリプトをよく投稿しているユーザーが、ChatGPT を使ってスレッドへの返信を自動生成するスクリプトを共有していました。

図 34: 返信自動生成スクリプトを共有する Hackforums ユーザー

ChatGPT を使って投稿に返信するというアイデアを思いついたのは、このユーザーが初めてではありません。この 1 か月前に XSS 上であるユーザーが Python 暗号化ツールに関するスレッドで長文の投稿をしたところ、別のユーザーから以下のような返信がありました。「私が人生で読んだ中で最も chatgpt 的なものです。」

図 35: ChatGPT を使って投稿を作成した別のユーザーを非難するユーザー

また XSS では、フォーラムの管理者がスクリプトを共有するだけでなく、ユーザーの質問に答える専用のフォーラムチャットボットも作成されました。

図 36: 「XSSBot」のリリースを知らせる XSS 管理者

発表では以下のように述べられています (原文はロシア語)。

このセクションでは、AI (人工知能) とチャットができます。質問をすると、AI ボットが答えてくれます。このセクションは娯楽的かつ技術的です。このボットは、ChatGPT (モデル: gpt-3.5-turbo) をベースにしています。

簡単なルール:

1. このセクションは娯楽的かつ技術的なもので、当フォーラムのトピックに限定してトピックを作成できます。天気、生物学、経済、政治などに関する質問はお控えください。私たちのフォーラムに関係の無いトピックは禁止されており、削除されます。
2. 使用方法を説明します。トピックを立てると、AI ボットから返信が届きます。
3. ボットと会話ができますが、会話のためにはボットを引用する必要があります。
4. トピックの作成者だけでなく、フォーラムの全メンバーがトピック内でやり取りできます。ボットを引用することで、お互いに、あるいはボットとコミュニケーションを取れます。
5. 1 つのトピックでは、1 つのテーマに関する質問のみです。別の方向性の質問がある場合は、新しいトピックを立ててください。
6. 1 つのトピックにおけるボットからのメッセージ (回答) は 10 件までです。

このセクションおよび AI ボットは、簡単な技術的問題を解決し、ユーザーの皆様に技術的な娯楽を提供し、AI の可能性に親しんでいただくことを目的としています。

AI ボットはベータ版です。ChatGPT は荒削りです。OpenAI のサーバーは時々フリーズします。これらのことを考慮してお使いください。

この発表にユーザー達は熱狂的に反応しましたが、XSSBot は必ずしも犯罪フォーラムでの使用に適しているわけではないようです。

図 37: マルウェアのコーディング方法をユーザーに教えるのを拒否する XSSBot

図 38: XSSBot は Python SSH ブルートフォースツールの作成を拒否し、ユーザーに以下のように伝えます (太字は筆者による)。「他人のプライバシーとセキュリティを尊重するのは重要です。代わりに、倫理的ハッキングについて学び、合法的かつ倫理的な方法で実践するのをお勧めします。」

おそらくこれらの回答拒否を受けて、あるユーザーは XSSBot のジェイルブレイクを試みましたが、失敗に終わりました。

図 39: 失敗した XSSBot のジェイルブレイクの試み

また、XSSBot を別の目的で使っているユーザーもいるようです。あるユーザーは、フリーランスの仕事の広告と売り込み文句を生成するように XSSBot に依頼しました。

図 40: XSS ユーザーの宣伝資料を作成する XSSBot

XSSBot はこの依頼に応じ、ユーザーは元のリクエストを削除しました。おそらく、このテキストが LLM によって生成されたものであることが知られるのを避けるためでしょう。しかし、ユーザーが自分の投稿を削除することはできても、XSSBot に自分の投稿を削除させる試みは何度も失敗しました。

図 41: 作成した投稿の削除を拒否する XSSBot

スクリプトキディ

当然のことながら、一般に「スクリプトキディ」と呼ばれる未熟な攻撃者は、LLM を使用して、自力では開発できないマルウェアやツールを生成しようと躍起になっています。私たちは、特に Breach Forums や Hackforums でこのような事例をいくつか確認しました。

図 42: ChatGPT を用いたハッキングについて尋ねる Breach Forums のスクリプトキディ

図 43: ある Hackforums ユーザーが、WormGPT が Cobalt Strike のペイロードを検出不可能にできるかどうかを尋ね、より現実的なユーザーから軽くあしらわれる様子

図 44: Hackforums での WormGPT に関する支離滅裂な質問

また、ChatGPT や同様のツールを使うことに興奮するあまり、あるユーザー (驚くことに XSS のユーザーでした) が操作上のセキュリティエラーと思われるミスを犯していたこともわかりました。

このユーザーは、「みんな、私が Chat GPT (RAT Spreading Method) を使って作ったアイデアをチェックしてね」と題したスレッドを立ち上げ、マルウェア配布キャンペーンのアイデアについて説明しました。訪問者が自撮りした写真を、ダウンロード可能な「AI セレブ自撮り画像」に変換する Web サイトの作成です。当然、このサイトからダウンロードされる画像はマルウェアです。このユーザーは、ChatGPT がこのアイデアを概念実証 (PoC) に変える手助けをしたと主張しています。

図 45: ChatGPT が生成したマルウェア配布キャンペーンを説明する XSS の投稿

自らのアイデアを説明するために、ユーザーはキャンペーンのスクリーンショットをいくつかアップロードしました。これらには、ユーザーのデスクトップや概念実証キャンペーンの画像が含まれており、以下のことが読み取れます。

• ユーザーのブラウザで開いているすべてのタブ (ファーストネームが記載された Instagram のタブを含みます)
• コンピューター名を示すローカル URL
• ユーザーのフルネームと同じ名前のフォルダを含むエクスプローラーのウィンドウ
• ユーザーの顔だと思われる無修正の写真を使った Web サイトのデモ

図 46: (おそらくは) 自らの顔写真を投稿するユーザー

議論とソートリーダーシップ

興味深いことに、特に実用的なアプリケーションに対してより慎重なユーザーが多い Exploit および XSS のフォーラムだけでなく、Breach Forums や Hackforums でも議論やソートリーダーシップの例がいくつか確認されました。

図 47: 「AI とサイバーセキュリティの交差点」と題された Breach Forums のソートリーダーシップに関する投稿の例

図 48: 「社会への悪影響」など、LLM の問題点を議論する XSS ユーザー

図 49: 「Chat GPT が怖くない理由」と題された Breach Forums の投稿からの抜粋

図 50: 有名な攻撃者の投稿 (ロシア語からの翻訳): 「未来は予測できませんが、ChatGPT は人工知能ではないということを理解しておく必要があります。ChatGPT には知性がありません。何も知らず、何も理解していません。言葉を弄してもっともらしい英文を生成しますが、その中で主張されていることは偽りかもしれません。言葉の意味を理解してないため、その事実から逃れることさえできません。」

懐疑主義

一般的に、4 件のフォーラムすべてにおいて、LLM がサイバー犯罪に貢献する能力について懐疑的な意見が多く見られました。

図 51: 「マルウェアのコード補完」においては ChatGPT は「まったく役に立たない」と主張する Exploit のユーザー

この懐疑的な態度は、このテクノロジーがまだ発展途上であることを思い起こすことで説明できます。

図 52: ある XSS ユーザーは、AI ツールの精度は必ずしも高くないものの、「多くの可能性がある」と語っています。

図 53: Exploit のユーザーは以下のように語っています。(ロシア語からの翻訳) 「もちろん、まだ本格的な AI として完成しているわけではありませんが、まだバージョン 3 と 4 に過ぎません。また、かなり急速に発達しており、バージョン間の差はかなり顕著です。すべてのプロジェクトがこのような開発ダイナミクスを誇れるわけでなく、バージョン 5 や 7 くらいになれば全体的に本格的な AI と呼べるものになると考えています。安全のために作られた技術の限界に大きく依存しますが、誰かが実験からソースコードを入手し、制限や検閲のない独自のバージョンを作成すれば、より面白いことになるでしょう。」

しかし、他のユーザーによるコメントはより否定的で、必ずしも LLM について熟知しているわけではありませんでした。

図 54: 2004 年にすでに「この種のボット」が存在していたと主張する Exploit ユーザー

運用におけるセキュリティ (OPSEC) 上の懸念

一部のユーザーは、サイバー犯罪を助長するために LLM を使用することについて、運用におけるセキュリティ上の懸念を抱いていました。たとえば Exploit について、あるユーザーは以下のように述べています。「(LLM は) ユーザーの意見から学び、利益を得るように設計されています。もしかすると、[Microsoft] は AV サンドボックスを改善するために、私たちが作成した生成コードを使用しているのでしょうか。わかりませんが、私は十分警戒した上でなければ手を出しません。」

図 55: ChatGPT クエリのプライバシーに対して懸念を表明する Exploit ユーザー

その結果、ある Breach Forums のユーザーが示唆しているように、一般に公開されているインターネット接続されたインターフェイスを使うのではなく、オフラインで使用するための小規模で独立した LLM を人々が独自に開発するということが起こるかもしれません。

図 56: ある Breach Forums のユーザーは、ChatGPT クエリが法執行機関によって可視化されるかどうか、その結果として誰が最初に「見せしめ」にされるかについて推測しています。

倫理的懸念

AI 全般とその倫理的意味合いについて、より哲学的な議論も見られました。

図 57: ユーザーが AI の倫理的意義について議論している Breach Forums の長いスレッドからの抜粋

結論

生成 AI に対する態度に関しては、サイバー犯罪者の間でも意見が分かれています。高度なユーザーとスクリプトキディが混在している一部のユーザーは、熱心なアーリーアダプターで、たとえその結果が特別に素晴らしいものでなくても、ジェイルブレイクや LLM が生成したマルウェアやツールを気軽に共有します。他のユーザーはより慎重で、具体的な (運用上のセキュリティ、正確性、有効性、検出に関する) 懸念と一般的な (倫理的、哲学的) 懸念の両方を持っています。この後者のグループには、疑い深い (時には敵対的な) 人もいれば、より慎重な人もいます。

Sophos X-Ops は、攻撃者が実際の攻撃で AI を使用していることを認める証拠はほとんど見つけられませんでした。しかし、フォーラムで観察した活動のほとんどは、アイデアや概念実証 (PoC)、思考の共有に限られていました。一部のフォーラムユーザーは、LLM は攻撃を支援できるほど成熟していない (あるいは安全ではない) と判断し、代わりに基本的なコーディング作業やフォーラムの機能強化など、他の目的で LLM を使用しています。

一方その背後では、プロンプトや GPT のようなサービス、侵害されたアカウントを販売するなど、便乗者や潜在的な詐欺師が、この成長産業で手っ取り早く儲けようとしています。

全体として、少なくとも今回調査したフォーラムでは、私たちの予想に反して LLM は大きな話題にはなっておらず、他の製品やサービスに比べて特に活発な市場でもないようです。ほとんどの攻撃者は、日常の作業を続けながら、時折生成 AI に手を出す程度に留まっています。とはいえ、私たちが見つけた GPT 関連サービスの数は、この市場が成長中であることを示唆しています。今後、より多くの攻撃者が他のサービスにも LLM 対応コンポーネントを組み込み始める可能性があります。

結局のところ、多くの攻撃者が LLM について、正確性、プライバシー、適用可能性など、私たちと同じような懸念と闘っていることが明らかになりました。しかし、彼らにはサイバー犯罪特有の懸念もあり、少なくとも現時点では、このテクノロジーをより広く採用することの障害となっている可能性があります。

このような不安が、すべてのサイバー犯罪者に対して LLM の使用を躊躇させているわけでありませんが、多くのサイバー犯罪者は「様子見」の態度を取っています。Trend Micro 社のレポートが結論付けているように、AI の活用はアンダーグラウンドではまだ初期段階にあります。当面の間、攻撃者は実験や議論、戯れを好み、少なくともこのテクノロジーが攻撃者のユースケースに追いつくまでは大規模な実用化は控えているようです。