かつてはハッキングのニュースが大きなニュースになったが、今ではあまりにも一般的になり、ほとんどの人にとってはもはや驚きではない。大企業で発生し、数百万人に影響を与えるようなケースで初めて、注目を集めるようになった。 T-Mobileのハッキング事件、64万人の顧客に影響データが侵害される方法は数多くあるため、ほぼすべての種類のデジタル サービスや製品には、これを防ぐための安全対策が講じられています。
もちろん、これらの製品は完璧ではなく、攻撃者が十分に賢ければ、悪意のある攻撃を実行する方法は常に存在します。GoogleのGeminiのような大規模言語モデル（LLM）の登場により、これらのAIツールが悪意のある目的で使用される可能性は常に存在します。まだ大きな報告はありませんが、実際にそのような事例は報告されています。 Wired誌は研究プロジェクトを特集した Geminiは、想像もつかない方法であなたの生活にアクセスするために利用されています。この研究は、Geminiがあなたのデジタルライフの様々な側面、おそらく家庭内のスマートデバイスを制御するためにどのように悪用される可能性があるかを示しており、人工知能時代のセキュリティとプライバシーに関する懸念を提起しています。
この種の攻撃はさらに危険になる可能性があります。
テルアビブ大学のベン・ナッシ、スタヴ・コーエン、オル・ヤイルは、彼らのプロジェクト「招待状だけが必要です「これは、スマートホームへのアクセスと制御にGeminiを使用しています。興味深いのは、攻撃が自宅から始まるのではなく、別の無関係なGoogle製品を利用してプロセスを開始することです。」
簡単に言うと、ユーザーがGeminiで特定のプロンプトを使用すると、望ましくないアクションがトリガーされます。この機能の巧妙な点は、それが隠されており、ユーザーには見えないことです。彼は次のように説明しています。 研究チームはこれがどのように機能するかを詳しく説明しています。「プロンプトウェア」は大規模言語モデル（LLM）を使用して悪意のあるアクティビティを実行します。
研究者たちは、「短期コンテキストポイズニング」と「長期メモリポイズニング」を用いて、Geminiに本来プロンプトに含まれていなかったアクションを実行させることに成功しました。これにより、様々なGoogleアプリのイベントを削除したり、Zoom通話を開始したり、ユーザーの位置情報を送信したり、スマートホーム製品を制御したりすることが可能になります。「間接プロンプトインジェクション」と呼ばれるこの種の攻撃は、大規模な言語モデルが外部データとやり取りする方法における脆弱性を悪用します。
研究チームは、その仕組みを分かりやすいチュートリアル動画で実演しています。これは、本人に知られることなく、他人の生活を壊滅させるシンプルかつ効果的な方法です。人々は従来のハッキング手法に注力しているため、このようなハッキングは非常に予想外の事態となる可能性があります。
幸いなことに、研究チームは2月にこれらの問題をGoogleに報告し、修正のためにチームと会合を開きました。Googleは、「機密性の高い操作に対するユーザー確認の改善、サニタイズと信頼レベルポリシーによる堅牢なURL処理、コンテンツ分類器を用いた高度なクレームインジェクション検出など、多層防御を導入した」と述べています。
このプロジェクトは、「大規模言語モデルを搭載したアシスタントに影響を与える理論的な間接クレームインジェクション手法」に焦点を当てており、AIツールがより高度化するにつれて、近い将来、より一般的になる可能性がある。これはまだ初期段階であり、将来的に深刻な被害をもたらすのを防ぐには、より厳密な監視が必要となる。日常生活におけるAIへの依存が高まるにつれ、これらの潜在的なリスクを理解し、軽減することがますます重要になっている。
セキュリティの脆弱性に興味のある方は、いつでも 見つけたものをGoogleに送信する AIは現在監視対象の一部に過ぎないため、バグハンタープログラムを通じて様々な方法で貢献できます。より深刻な問題が発生した場合、Googleは貢献に対して報酬も提供しており、努力の価値をさらに高めます。
コメントは締め切りました。