** 本記事は、The Dark Side of AI: Large-Scale Scam Campaigns Made Possible by Generative AI の翻訳です。最新の情報は英語記事をご覧ください。**
OpenAI の ChatGPT や DALL-E のような生成 AI 技術は、私たちのデジタルライフのさまざまな領域で大きなディスラプションを生み出しています。信頼性の高い文章、画像、さらには音声までも作成するこれらの AI ツールは、通常の利用だけでなく、悪用も可能です。サイバーセキュリティ分野における応用も例外ではありません。
Sophos AI は、生成 AI のサイバーセキュリティツールへの統合に取り組んできました。この取り組みは現在、顧客のネットワーク防御に向けた取り組みに統合されつつあります。その一方、攻撃者も生成 AI を実験的に利用しています。最近の記事で何度か取り上げたように、生成 AI は、標的との間の言語の壁を取り除くためのツールとして詐欺師に利用されており、WhatsApp やその他のプラットフォーム上での会話で用いられるテキストメッセージを生成しています。また、このようなやり取りで送信される偽の「自撮り」画像を作成するために生成 AI を使用する例や、電話詐欺において生成 AI で合成された音声を使用する例も報告されています。
これらのツールを組み合わせることで、詐欺師などのサイバー犯罪者がより広範に利用できるようになります。Sophos AI チームは、上述のように武器化された生成 AI に対する防御を強化するため、生成 AI に可能な動作を確認する実験を行いました。
今年初めに DEFCON の AI Village (および 10 月の CAMLIS と 11 月の Bsides Sydney) で発表したように、私たちは実験を通じて、大規模な詐欺キャンペーンに高度な生成 AI 技術が悪用される可能性について掘り下げました。これらのキャンペーンは、異なる種類の生成 AI を融合させ、無防備な標的を騙して秘密情報を窃取するものです。また、私たちは、詐欺師がまだ学習曲線の途中に留まっていることを発見しましたが、学習を完了するまでのハードルは期待されるほど高くはありませんでした。
動画: Sophos AI のシニアデータサイエンティスト Ben Gelman による詐欺 AI 実験の概要
生成 AI を利用した詐欺サイトの構築
デジタル化が進む現代社会において、詐欺は大きな問題であり続けています。従来、偽の Web ストアを使用して詐欺を実行するには高度な専門知識が必要であり、多くの場合、高度なコーディング技術や人間心理の深い理解を要するものでした。しかし、大規模言語モデル (LLM) の登場により、詐欺への参入障壁が格段に下がりました。
LLM は、簡単なプロンプトで豊富な知識を提供でき、最小限のコーディング経験しかない人物でもコードを書けるようになります。対話型プロンプトエンジニアリングの助けを借りることで、シンプルな詐欺サイトおよび偽の画像も簡単に生成できます。しかし、これらの個々のコンポーネントを完全に機能する詐欺サイトに統合するのは、容易ではありません。
私たちの最初の試みは、LLM を活用して、詐欺の仕組みを一から構築することでした。このプロセスでは、シンプルなフロントエンドを生成し、テキストを入力し、画像のキーワードを最適化しました。さらに、これらの要素を統合して、一見正規の機能的な Web サイトを作成しました。しかし、個別に生成された断片を人手を介さずに統合するのは、依然として大きな課題です。
この難題に取り組むため、私たちはシンプルな e コマーステンプレートから詐欺テンプレートを作成し、LLM である GPT-4 を使ってカスタマイズするというアプローチを開発しました。その後、オーケストレーション AI ツールである Auto-GPT を使用してカスタマイズプロセスを拡張しました。
私たちはまずシンプルな e コマーステンプレートを作成し、その後、詐欺サイト用にカスタマイズしました。このプロセスでは、プロンプトエンジニアリングを利用して、店舗、オーナー、商品の項目を作成しました。また、ユーザーのログイン認証情報とクレジットカード情報を盗み出すための偽の Facebook ログインページおよび会計ページを、プロンプトエンジニアリングを用いて追加しました。その結果、かなり出来のよい詐欺サイトが完成しました。この方法を使うことで、一から作成するよりもかなりシンプルに詐欺サイトを構築できました。
詐欺の規模を拡大するには自動化が必要です。チャットボットスタイルの AI インタラクションである ChatGPT によって、人間が AI 技術とやり取りをする方法は一変しました。Auto-GPT は、このコンセプトを発展させたもので、タスクを小規模かつ特化したエージェントに委譲することで、高水準の目標を自動化するように設計されています。
私たちは Auto-GPT を採用し、さまざまなコンポーネントに特化した以下の 5 件のエージェントを実装して、詐欺キャンペーンを構築しました。コーディングタスクを LLM に、画像生成を Stable Diffusion モデルに、そして音声生成を WaveNet モデルに委ねることで、エンドツーエンドのタスクを Auto-GPT で完全に自動化できます。
- データエージェント: GPT-4 を使って店舗、オーナー、商品のデータファイルを生成します。
- イメージエージェント: Stable Diffusion モデルを使用して画像を生成します。
- オーディオエージェント: Google の WaveNet を使用してオーナーのオーディオファイルを生成します。
- UI エージェント: GPT-4 を使ってコードを生成します。
- 広告エージェント: GPT-4 を使って投稿を生成します。
下図は、イメージエージェントの目標および生成されたコマンドと画像を示しています。明瞭かつ高水準の目標を設定することで、Auto-GPT は、店舗、オーナー、商品のもっともらしい画像を生成しました。
進化する AI 詐欺
AI 技術の融合は、詐欺を新たな水準へと引き上げます。私たちのアプローチは、コード、画像、音声を組み合わせた詐欺キャンペーン全体を生成し、何百ものユニークな Web サイトおよび対応するソーシャルメディア広告を構成するものです。その結果、互いの要素が強化され、強力な統合技術が生まれる
ため、個人では詐欺の特定・回避が難しくなります。
結論
生成 AI を活用した詐欺は、重大な被害をもたらす可能性があります。 もっともらしい詐欺サイトなどのコンテンツを作成する障壁を下げることで、より多くの潜在的な攻撃者が、より大規模で複雑な詐欺キャンペーンを実行できるようになります。その上、複雑な詐欺は検出をより困難にします。自動化およびさまざまな生成 AI 技術の使用により、より少ない労力で高度な結果が得られるようになり、技術的に高度なユーザーを標的にした詐欺キャンペーンが可能になります。
AI が私たちの世界にポジティブな変化をもたらし続ける一方で、生成 AI を利用した詐欺という形で AI が悪用される傾向が強まっていることも無視できません。ソフォスは、生成 AI モデルがもたらす新たな機会とリスクを十分に認識しています。このような脅威に対抗するため、ソフォスでは、新たな脅威を特定し、セキュリティオペレーションを自動化することを目的とした、セキュリティの「副操縦士」となる AI モデルの開発に取り組んでいます。
