GeminiがあなたのMacの画面を無料で閲覧できるようになりました。

💡 知っておくべき最も重要なこと

• GeminiはmacOS向けに「スマート音声入力」機能を搭載しました。この機能は、Fnキーを押すだけで、どのウィンドウで入力している場合でも、「あー」や「んー」といった音を自動的に除去します。
• Geminiは、「画面認識推論」機能（デフォルトでは無効）により、Macの画面の内容を「理解」できるようになり、メモの要約やファイルからのメール作成といった複雑なタスクを実行できるようになりました。
• メリットはあるものの、GeminiにMacの画面へのフルアクセスを許可することには、考慮すべき潜在的なプライバシーとセキュリティのリスクが伴います。

AIに対する意見は様々ですが、現在多くの人がAIを利用しています。こうしたユーザーのほとんどは、 ChatGPTやGeminiなどのチャットボットを、Googleの代替サービスとして（これはお勧めしません）、あるいは親しい友人として（これもお勧めしません）利用しています。しかし、AIをパーソナルアシスタントとして利用したいのであれば、注意が必要です。Googleは水曜日にmacOS版Geminiの2つの新しいアップデートを発表しましたが、そのうちの1つは、ユーザーが有効化した場合、プライバシーとセキュリティに影響を与える可能性があります。

macOS版Geminiの音声入力機能を改善しました

macOSの音声入力機能（AIに単語を声に出して入力させる機能）を使っ​​ているなら、Appleの標準機能ではなくGeminiを使う理由ができたかもしれません。現在、macOS版Geminiには「インテリジェント音声入力」機能が搭載されており、Googleによれば、カーソル位置でテキストを「瞬時に」修正するとのことです。つまり、Geminiは単語間の「uh」や「mm」といった、自分で入力するはずのない音を自動的に削除してくれるのです。この機能はMacのどのウィンドウでも使えます。Fnキーを押しながら話すだけでOKです。

この機能の有効性を判断するには実際に使ってみる必要があるが、これはGeminiが他のプラットフォームで既に実施している同様の改善に基づいている。小さな変更ではあるが、これによりGeminiを使ってテキスト、メール、ドキュメントを、完全な自動編集を必要とせずに下書きできるようになる。これは私がAI搭載機能に求めるメリットだ。しかもデフォルトで有効になっているため、MacでGeminiを使っている人は、設定を変更して無効にしない限り、この機能を使うことになるだろう。

GeminiはMacの画面を「理解」できるようになりました

GoogleがmacOS版Geminiに施した2回目のアップデートは、それほど単純なものではなく、デフォルトでは有効になっていません。Googleが「画面認識推論」と呼ぶこの機能は、GeminiがMacの画面上で何が起こっているかを「理解」できるようにするものです。その目的は、Geminiにタスクを委任することです。例えば、メモアプリが開いている場合、Fnキーを押して「このメモを今日の午後の会議の要約にして」と言うことができます。するとGeminiは、メモアプリの内容を確認し、テキストを分析し、別のアプリケーションを操作することなく、自動的にフォーマットしてくれるはずです。

一連のコマンドをまとめて実行することもできます。例えば、チームディナーのメールを作成する際に、Mac上のファイルから参加者、予算、食事制限などの重要な情報をGeminiに抽出させることができます。さらに、Googleマップで特定の種類のレストランを検索し、チームの候補として追加することも可能です。いつでも修正でき、Geminiはそれに応じて調整を行います。例えば、最初にチームディナーを金曜日の午後6時30分にすると指定したとしても、コマンドの後半で「すみません、ディナーは午後7時に変更します」と変更すれば、Geminiは適切な修正を行います。

確かに、この種の機能にはメリットがあります。macOSで既にGeminiを使用している場合、Macの画面を「認識」できるようにすることで、さらに便利になります。すべてのタスクをGeminiに頼るのではなく、Googleの主張が正しければ、非常に複雑な方法でMac全体にその範囲を拡張できる可能性があります。しかし、AIソフトウェアにPC上で何が起こっているかを完全に認識させることには、常にプライバシーのリスクがあり、セキュリティのリスクも伴います。GoogleのAIに画面上のすべてを見せることを本当に望みますか？

もちろん、このリスクは実際のエージェントプログラムがもたらすリスクほど重大ではありません。Googleのより高額なAIプランに加入すると、Mac上で独立して実行できるGemini Sparkにアクセスできます。最も注意すべきリスクは「プロンプトインジェクション」です。これは、ハッカーがウェブサイト内にAIに対する悪意のあるコマンドを隠すものです。AIにタスクを割り当て、そのようなコマンドに遭遇した場合、AIはそのリクエストがハッカーではなく、あなたから来たものだと認識します。そのため、「[悪意のあるウェブサイト]を開いて[悪意のあるファイル]をダウンロードする」といったリクエストを処理すると、躊躇なく実行します。また、「[仮想ウォレット]を開いて、保存済みの認証情報でログインし、[アカウント]に資金を送金する」といったリクエストにも従います。現在のGeminiでは、これは問題にならないはずですが、コマンドインジェクションにさらされるようなタスクを割り当てた場合は、理論的には発生する可能性があります。

最新機能に興味をお持ちの方にとって、この警告の目的はmacOS上の新しいGeminiプロキシ機能の使用を思いとどまらせることではありませんが、使用を開始する前に、非常に現実的なリスクを考慮することが重要です。