最新情報: AI に (今のところ) 乗り気でないサイバー犯罪者

攻撃者の中には、他の言語を話す標的をより的確に狙うために AI を利用している者もいるかもしれません。たとえば、あるフォーラムのソーシャルエンジニアリングエリアでは、ロシア語と英語を翻訳するための ChatGPT を含むさまざまなツールの品質について議論しているユーザーを確認しました。

図 7: AI を含むさまざまな翻訳ツールの品質について議論を始める攻撃者

OSINT

私たちは、ある攻撃者がオープンソースインテリジェンス (OSINT) の実行に AI を使用していると述べた投稿を目にしました。ただし、彼らは時間の節約のために用いているとしています。この投稿者はそれ以上の説明をしていませんでしたが、サイバー犯罪者が OSINT を行う理由はいくつかあり、被害者を「ドキシング」することや、攻撃を計画している企業に対する偵察を行ったりすることなどが挙げられます。

私は長い間、OSINT にニューラルネットワークを使用してきました。しかし、LLM またはそれに準ずるものは、情報を検索し分析するプロセスにおいて、完全に人の代わりとなることはできません。LLM にできるのは、入力されたデータに基づいて情報の分析を促し、手助けすることくらいですが、何をどのように入力すれば良いかを知ったうえで、そのすべてをダブルチェックする必要があります。LLM の役割は、時間を節約するためのアシスタントに過ぎません。

私は個人的には、Yandex neurosearch などのようなニューロサーチシステムの方を好みます。同時に、Bard/geminiのようなサービスは、ハルシネーションが多く、機能が非常に限られているため、設定されたタスクに対処できるとは限りません。(ロシア語からの翻訳)

マルウェア、スクリプト、エクスプロイト

前回の記事で述べたように、ほとんどの攻撃者はまだ AI を利用して、商品化可能なマルウェアやエクスプロイトを作成しているようには見えません。その代わりに、実験的な PoC (概念実証) を作成し、多くの場合、些細なタスクのためにそれらをフォーラムで共有しています。

図 8: 「ChatGpt の助けを借りて」Python で書かれた「Netflix チェッカーツール」のコードを共有する攻撃者

また、GitHub のような他のソースから GPT 関連ツールを共有する攻撃者も確認されました。

図 9: GitHub リポジトリへのリンクを共有する攻撃者

攻撃者が正規の研究ツールを共有するさらなる例として、元々は RSA 2024 で発表されたツールである Red Reaper に関する投稿が挙げられます。このツールは、LLM を使用してデータセットから「悪用可能な」機密通信を特定するものです。

図 10: Red Reaper v2 の GitHub リポジトリへのリンクを共有する攻撃者

他のセキュリティツールと同様、攻撃者はしばしば独自のソリューションを開発することに加えて、あるいはその代わりに、正規の AI 研究やツールを不正な目的のために利用します。

攻撃者の熱意

しかし、AI を活用したマルウェアや攻撃ツールをめぐる議論の多くは、少なくとも私たちが調査したフォーラムでは、まだ願望的なものでした。たとえば、「世界初の AI を搭載した自律型 C2」というタイトルの投稿を確認しましたが、その投稿者は「今のところ、これはまだ私の想像の産物に過ぎない」と認めています。

図 11: 「世界初の AI 搭載自律型 C2」を約束するものの、そのツールは「私の想像の産物」であり、「そのような自律型システムを作る技術はまだ研究の初期段階にある」と認める攻撃者。

別の攻撃者は、「政治家や大規模な暗号通貨インフルエンサーを恐喝するためにボイスクローニングを使用すること」の実現可能性について尋ねました。この問いかけに対し、あるユーザーは相手を連邦捜査官だとして非難しました。

図 12: あるユーザーがサイバー犯罪フォーラムで人々を恐喝するために音声クローンを作成するプロジェクトのオススメを求めたところ、他のユーザーから FBI 捜査官だとして非難される様子

間接的な用法

興味深いことに、AI に関するサイバー犯罪フォーラムの議論の中には、セキュリティとはまったく関係のないものもありました。GPT を使って本を書くためのガイドや、「高品質の動画」を作成するためのさまざまな AI ツールの推奨などの例がいくつか確認されました。

図 13: 本を書くための AI プロンプトを共有するサイバー犯罪フォーラムのユーザー

セキュリティ以外の議論の中で特に興味深かったのは、職業柄孤独を感じると主張する攻撃者によるスレッドでした。この攻撃者は、人と話せないような気がして「この 2 年近く [中略] GPT4 と毎日話している」と述べていました。

図 14: サイバー犯罪フォーラムで自らに深く踏み込み、孤立感を和らげようと GPT4 と会話していたことを告白する攻撃者

あるユーザーが指摘したように、この行為は「opsec (オペレーショナルセキュリティ) にとって悪い行い」です。元の投稿者も同意し、「あなたの言う通り、Microsoft と提携しているロボットに私の人生や私の問題を話すのは opsec 的自殺行為だ」と述べています。

私たちは、攻撃者の心理や、人々がチャットボットと精神衛生上の問題を議論することの社会的意味についてコメントする資格もなければ、そうするつもりもありません。もちろん、投稿者が真実を述べているかどうかを確認する方法もありません。しかし、この事例やこのセクションの他の事例は、a) 攻撃者がセキュリティのトピックのみに AI を適用しているわけではないこと、b) 犯罪フォーラムでの議論は、時としてサイバー犯罪の取引にとどまらず、攻撃者の背景、外部での活動、ライフスタイルについての洞察を提供する可能性があることを示唆しているかもしれません。

フォーラムでの AI 利用

前回の記事では、攻撃者が自身のフォーラムを AI による投稿で補強しようとしている、という興味深い事象を確認しました。最新の調査では、このような事例がさらに増えていることが判明し、他のフォーラムユーザーから批判を浴びることもしばしばありました。

たとえば、ある英語フォーラムでは、あるユーザーがフォーラム LLM チャットボットの作成を提案しました。少なくともあるロシア語のマーケットプレイスでは実現されていることです。別のユーザーは、このアイデアを全く受け入れませんでした。

図 15: ある攻撃者は、サイバー犯罪フォーラムに独自の LLM を導入するべきだと提案しましたが、このアイデアは他のユーザーから軽くあしらわれました。

つまらないコピー&ペースト

投稿やコードの生成に AI を使用しているとして嘲笑や見下しとともに他人を非難するスレッドをいくつか確認しました。

たとえば、あるユーザーは「AI マルウェアの仕組み」と題した非常に長いメッセージを投稿しました。

図 16: サイバー犯罪フォーラムで饒舌になる攻撃者

他の攻撃者は、「ChatGPT の出力にそっくりだ。恥ずかしい…」という簡潔なメッセージとともに、AI 検出ツールのスクリーンショットを返信しました。

図 17: ある攻撃者が、GPT ツールからのコピー&ペーストについて別の攻撃者を非難する様子

別の例では、あるユーザーが自分が書いたとするマルウェアのコードを共有したところ、著名なユーザーから ChatGPT でコードを生成したと非難されました。

図 18: ChatGPTを使用していることを非難しつつ、他のユーザーのコードに存在する特定の技術的エラーを指摘する攻撃者

同じスレッドの後の投稿で、このユーザーはこう書いています。「あなたは間違っており、機能しない、あまり意味のないコードで初心者を惑わせています (中略) このコードは ChatGPT か何かで生成されただけです。」

別のスレッドでは、同じユーザーが別のユーザーに「ChatGPT をフォーラムにコピー&ペーストするのは止めろ、無駄だ」とアドバイスしていました。

これらのインシデントが示唆するように、テキストであれコードであれ、AI 生成物による貢献がサイバー犯罪フォーラムで必ずしも歓迎されるとは限らないと考えるのが妥当でしょう。他の分野と同様、このような貢献は、正しかろうが間違っていようが、近道を求める怠け者やスキルの低い人たちのものだと思われがちです。

詐欺

仲裁スレッドに投稿する際、あるいは後に仲裁スレッドの対象となったコードやツールを生成する際に、攻撃者がフォーラム詐欺のコンテキストで AI を使用しているとして他人を非難する事例がいくつか確認されました。

上記のリンク先の一連の記事で説明しているように、仲裁とは、あるユーザーが他のユーザーに騙された、あるいは詐欺にあったと考えられる場合の犯罪フォーラムでのプロセスです。原告はフォーラムの専用エリアに仲裁スレッドを開き、被告には弁明または返金の機会が与えられます。モデレーターと管理者が仲裁人の役割を果たします。

図 19: サイバー犯罪フォーラムでの仲裁紛争 (有効なブラジル人識別番号をチェックするツールの販売について) において、原告は被告が ChatGPT を使用して説明を作成したと非難しました。

図 20: 別の掲示板の別の仲裁スレッド (販売されたデータセットの妥当性に関するもの) でも、原告が被告を AI を使って説明を生成していると非難し、AI 検出ツールのスクリーンショットを投稿していました。

図 21: 別の調停スレッドでは、原告は売り手が ChatGPT と GitHub からコードをコピーしたと主張しています。

このような使い方は、前回の記事で私たちが指摘したことを裏付けています。つまり、技術力の低い一部の攻撃者は、GPT を使って質の低いツールやコードを生成しようとしており、その行為が他のユーザーによって非難されているということです。

懐疑主義

前回の調査と同様、私たちが調査したフォーラムでは、生成 AI に懐疑的な意見がかなり見られました。

図 22: 現在の GPT は「IT エリートの言葉の薄いベールの後ろ」に隠された「中国の部屋」 (John Searle の「Chinese Room」という思考実験より) だと主張する攻撃者。

しかし、2023 年にも指摘したように、一部の攻撃者は AI について、ニッチな質問に答えたり、偽の Web サイトを作成するような特定の作業を自動化したりするような一部の作業には有用であると主張しており、より公平に AI を評価しているようです (2023 年に調査・報告した内容)。

図 23: ChatGPT は「ショップ」(偽サイト) の自動化や詐欺には適しているが、コーディングには適していないと主張する攻撃者

図 24: 同じフォーラムの別のスレッドでは、ChatGPT は「反復的なタスク」に役立つと指摘されています。他のフォーラムでも同様の意見が見られ、ChatGPT や Copilot のようなツールがトラブルシューティングやコードの移植に有効だと書いているユーザーも確認されました。

また、AI のより広い意味合いについての興味深い議論も確認されました。繰り返しになりますが、昨年も記事にしています。

図 25: AI が侵害の多発を招くのか、減少を招くのかを気にかけるユーザー

図 26: (おそらくは、他の場所で確認された AI の利用に対する「嘲笑ムード」への反応として) テキストやコードを生成するために AI を使用する人々は誹謗中傷されるに値するのかどうかを問いかけるユーザー

結論

1 年経った今でも、調査対象のサイバー犯罪フォーラムに参加している大半の攻撃者は生成 AI にそれほど熱中しているようには見えません。また、サイバー犯罪者が新しいエクスプロイトやマルウェアを開発するために生成 AI を利用している形跡も見当たりません。もちろん、この結論は一部のフォーラムを観察した結果に基づくものであり、必ずしも幅広い脅威環境すべてに当てはまるわけではありません。

一部の攻撃者は大きな夢を抱いているかもしれませんし、(おそらくは) 危険なアイデアを持っているかもしれませんが、彼らの議論は当分の間、理論的かつ願望的なものに留まるでしょう。セキュリティの他の側面と同様に、より直接的なリスクは、攻撃者が正規の研究や、一般公開されている (あるいはこ公開予定の) ツールを悪用することである可能性が依然として高くなっています。

OPSEC の観点からも、多くのサイバー犯罪者が AI を「過大評価」しており、自分たちの用途には適していないと感じているという意味でも、今回調査したフォーラムでは、AI に対する懐疑的な見方や疑念がまだかなり残っています。AI を使用してコードやフォーラムへの投稿を作成する攻撃者は、世間からの批判や詐欺の苦情という形で、身内からの反発を受けるリスクがあります。その点は、現在もあまり変わっていません。

実際、ここ 1 年で目立った進化といえば、スパム送信、大量メール送信、データセットの選別、そしてソーシャルエンジニアリングのための一部のツールキットに生成 AI が組み込まれたことくらいです。大量のメールや偽サイトの作成、コードの移植、大規模データベース内の興味深い情報スニペットの検索など、攻撃者は他の皆と同様に、退屈で単調な大規模作業を自動化したいと考えているようです。多くのフォーラムユーザーが指摘しているように、現状の生成 AI はこの種の作業には適しているようですが、より繊細で複雑な作業には向いていません。

したがって、サイバー犯罪の地下市場で生成 AI を使用する動きが拡大するかもしれません。しかし、新しい脅威ではなく、時間節約ツールの形で出現すると考えられます。

現状では、そして昨年も報告したように、多くの攻撃者はまだ様子見をしているようです。テクノロジーのさらなる進化を待ちながら、生成 AI を自らのワークフローにどのように適合させるのが最適かを見極めています。