Copilot Vision の体験談: 不思議な感覚だが、ある程度は便利 - これが私の意見です

米国のユーザーは、Windows 11（および10）でCopilot Visionを利用できるようになりました。これは、PCでのほぼすべての操作をサポートしてくれるAIアシスタントです。本当に使えるのか知りたいですか？さて、実際に試してみました。このガイドでは、この機能が何を提供するのか、どのように利用できるのか、そして私の個人的な体験を詳しく解説します。

Copilot アプリでは、次の機能があります。 "ビジョン" チャットボットと画面を共有する機能で、チャットボットは画面上のコンテンツを認識し、解釈します。チャットボットは第二の目として機能し、アプリやブラウザに表示されているコンテンツに基づいて、リアルタイムのヘルプ、回答、インサイトを提供します。

これもオプション機能であるため、Copilotバージョン1.25061.104.0以降では手動で有効にする必要があります。ブラウザを使用している場合は Microsoft EdgeCopilot 統合を通じてこの機能にアクセスすることもできます。

DRM で保護された素材やその他の制限されたコンテンツでない限り、AI はほぼすべてのコンテンツを表示できることに注意することが重要です。

この機能は、サブスクリプションをお持ちでない方でもご利用いただけます。 コパイロット プロ Windows 10 および 11 の場合。iOS および Android でも Copilot Vision にアクセスできますが、これらのモバイル デバイスで使用するにはサブスクリプションが必要です。

このガイドでは、この機能を使い始めるために必要な手順の概要を説明し、私の経験を共有します。

Windows 11でCopilot Visionを入手してアクティベートする方法

Copilot Visionは現在、米国でCopilotアプリバージョン1.25061.104.0以降からご利用いただけます。そのため、まずMicrosoft Storeアプリを開き、「ダウンロードとアップデート」セクションに移動して「アップデートを入手」ボタンをクリックし、お使いのコンピューターに最新バージョンのアプリがインストールされていることを確認してください。この手順は、お使いのデバイスが新機能に対応していることを確認し、Copilotの全体的なパフォーマンスを向上させるために必要です。

以前にアンインストールしてしまった場合は、Microsoft Store からアプリを入手できます。ストアで Copilot を検索してインストールし、すべての機能をご利用ください。

MicrosoftはVisionはオプション機能だと説明していますが、画面共有には許可を与える必要があるため、技術的にはその通りです。しかし、設定ページでVisionを完全にオフにするオプションがないため、デフォルトで利用可能です。つまり、アプリをアップデートすればVisionは使用可能になりますが、画面コンテンツにアクセスするには明示的な同意が必要です。

Copilotの設定ページには「ハイライト」のオン/オフを切り替えるオプションしかありませんが、この機能はAIが画面上のアクションを視覚的に表示する能力を制御するものであり、アプリ内でのこの機能の可用性を制御するものではありません。つまり、「ハイライト」を無効にしても、ビジョン機能は引き続き利用可能ですが、画面上の視覚要素はハイライトされません。

Copilot の使用全般に不安がある場合は、「設定」>「アプリ」>「インストール済みアプリ」からアンインストールし、「アンインストール」オプションをタップして「Copilot」に入ることをお勧めします。これにより、アプリがデバイスから完全に削除され、データやシステムリソースにアクセスできなくなります。

Windows 11でCopilot Visionを使った私の体験：第一印象

Windows 11で初めてCopilot Visionに触れたとき、少し違和感を覚えました。それは、私がこれまで経験したことのないパラダイムシフトを象徴していたからです。状況を判断するために詳細なテキストや音声コマンドを入力する必要はなく、Copilotのインテリジェントアシスタントは状況を自動的に理解し、即座に効果的な支援を提供してくれるように感じました。具体的な指示を必要とせずに状況を理解するこの能力は、私たちがコンピューターと関わる方法に大きな変化をもたらしました。

Copilot Visionの精度はまだ開発段階ですが、コンピューティングの未来を垣間見ることができます。これは、よりシームレスで統合されたコンピューティング体験への有望な一歩であり、コンピューターは単なる特定のコマンドを実行するツールではなく、私たちのニーズを理解し、予測するインテリジェントなパートナーとなるでしょう。この技術は、私たちの働き方、創造の仕方、そして学び方を根本的に変える可能性を秘めています。

Copilot Visionを使い始める

Copilot Visionが自分のパソコンで使えることを確認した後、テストを始めました。いくつかのアプリケーションを起動し、 副操縦士 スタートメニューから、ボタンをクリックします "ビジョン" （メガネ）をタップし、Copilotと共有したいアプリを選択して、オプションを有効にします。 "共有".

アプリケーションに関するテストの質問

メモ帳を使用しているときに、アプリケーションのデフォルトのフォントを変更する方法を Copilot に表示するように要求しましたが、間違った回答が返されました。

副操縦士はリストを検索することを提案しました。 "見る" （表示）ですが、このオプションはこの場所にありませんでした。メモ帳の現在の設計では、フォント変更の設定はメニューからアクセスできる「設定」ページにあるためです。 「編集」 （編集）またはボタンをクリックして "ギヤ" （歯車）アイコンをクリックします。

最終的に、Copilotは段階的な消去法によって正しい答えにたどり着きました。興味深いことに、チャットボットはメモ帳の異なるバージョンを混同していたため間違いを犯したと表示しました。しかし、メモ帳のどのバージョンにもメニューにフォント設定があったとは記憶にありません。 "見る" （表示）全く表示されません。これは、Copilot が古い情報や不正確な情報に基づいている可能性があることを示唆しています。

テスト問題の設定

テスト プロセスの一環として、Windows 11 で設定アプリを起動し、Copilot に最新のシステム アップデートで PC を更新するように依頼しました。

この場合、 マイクロソフト コパイロット Visionは設定アプリの中にいることを正しく認識し、そのセクションへと正確に誘導してくれました。 「WindowsUpdate」 そしてボタンを強調表示しました "更新を確認する".

次に、あまり一般的ではない（しかし依然として関連性のある）プロンプトを提示しました。アップデートプロセス中にコンピューターが他のデバイスにアップデートをダウンロードしないようにするにはどうすればよいかを尋ねました。これは特に複雑な要求ではありませんでしたが、アシスタントがより微妙なユーザーの意図を解釈する能力を試すものでした。

最初の試みでは、Visionは質問を誤解し、一般的なデバイスアップデート手順を表示してしまいました。しかし、2回目の試みで言い回しを修正すると、質問を正しく認識しました。

しかし、そのガイダンスは画面に表示された内容と矛盾していました。例えば、何も操作していないにもかかわらず、更新共有機能を正常に無効化したと表示されました。これは、アシスタントが実際のシステム状態を分析するのではなく、想定される動作に基づいて推測していたことを示唆しています。特にWindows 11の設定と更新オプションに関して、Microsoft Copilotがユーザーのコンテキストをより正確に理解し、より正確で信頼性の高い応答を提供できるように、改善する必要があることを示しています。

要素認識テスト：ステージ3

次のテストでは、画面上の視覚要素を認識するCopilotの能力をテストしたいと考えました。そのために、特定の画像を開き、その中の要素を正確に識別するようにCopilotに指示しました。

このケースでは、Copilotに赤いジャケットの画像が表示されました。チャットボットは商品を正確に識別し、説明し、リクエストに応じて追加の関連情報も提供しました。これは、Copilot Visionが画像を分析し、その内容に関する詳細な情報を提供できる能力を実証しています。

しかし、チャットボットはジャケットがAmazonで販売されていることを認識したものの、画像を別のタブで開いていたにもかかわらず、私が実際の商品ページを閲覧していないことを判断できませんでした。その結果、Amazonの実際の商品ページに関する情報を提供できませんでした。これは、Copilotが視覚情報とユーザーの現在の閲覧状況を関連付ける能力に限界があることを示唆しています。

テキスト抽出テスト

Copilot Visionが提供するもう一つの機能は、画像からのテキスト抽出です。以前は、オペレーティングシステムでは画像内のテキストを検出して抽出することができませんでしたが、現在では複数の方法で効率的にこのタスクを実行できるようになりました。

たとえば、PowerToysから利用できるテキスト抽出機能、スニッピングツール、そして クリックトゥドゥ今では、このプロセスにも Copilot Vision を活用できるようになりました。

この機能をテストするために、設定アプリのゲームモードページを開き、Copilotに既存のテキストを抽出できるかどうか尋ねました。すると、インテリジェントボットはページ上のすべてのテキストを音声で読み上げてくれました。

唯一の欠点は、Click to Doのように抽出したテキストをクリップボードにコピーしたり、テキストを直接選択したりできないことです。ただし、ボットはすべてを会話履歴の一部としてCopilotアプリにコピーしました。

テキストライティングテスト：コンテンツ分析と最適化におけるAIの能力

技術的には、画面上のあらゆるものについて質問することができます。例えば、特定のファイルで作業している場合、AIにグラフやその他の表示されているデータを分析するよう指示することができます。

この技術を使えば、特定のシーンや画像の説明をリクエストしたり、ランドマークや地理的な場所を特定したり、想像できるあらゆることが可能になります。可能性は無限大です。

文章を作成中であれば、AIに文章を読み上げさせ、改善点を提案してもらえます。この機能は、文章の質を向上させたい作家、ブロガー、学生にとって特に便利です。

前回のテストでは、メモ帳に簡単なテキストを読み込み、チャットボットにテキストを長くするように指示しました。すると、元のテキストの改良版を提案してくれました。

スマートアシスタントが画面に表示されたテキストを理解して代替バージョンを提案する能力は素晴らしいものでしたが、次に必要なアクションを理解する点ではそれほど正確ではありませんでした。

提案されたテキストを直接コピーして置き換えることはできないことはわかっていましたが、テキストの置換バージョンをコピーして貼り付けることは可能かと尋ねたところ、代わりに挿入するファイル内のセクションを指示されました。

解決策は、Copilot Vision を開いて閉じ、Copilot インターフェースからチャット履歴のテキストを選択してコピーすることです。これにより、AI による提案を簡単かつ効果的に活用できます。

結論

長年ガイドを書いてきた者から見ると、画面の内容を理解して必要な支援を提供するこのテクノロジーは本当に素晴らしいと思います。

しかし、このツールには多くの間違いがあり、実行したい手順について基本的な知識がなければ、あまり役に立たない可能性があることを認識しておく必要があります。つまり、このツールを最大限に活用するには、対象分野に関する事前の知識が不可欠です。

さらに、一見すると完全な意識を持って行動しているように見えますが、実際には、既にオンライン上にあるコンテンツを複製するだけの人工知能に過ぎません。そのため、革新的なツールとしての価値は低下しています。

Copilot Vision を使うと、まるで電話でテクニカルサポートと話しているような感覚になることがあります。チャットボットは画面を見ることはできますが、テクニカルサポートのエージェントのようにユーザーを誘導し、タスクが完了したかどうかを理解できないことがよくあります。このような状況認識の欠如は大きな課題です。

さらに、ほとんどの場合、指示は非常に具体的で、実行したいアクションを具体的に指定しなければならない場合も少なくありません。これは、ユーザーの意図を自然に理解することを目指すAIの目的とは根本的に矛盾しています。この機能は主に技術に詳しくないユーザー向けに設計されており、技術的な専門知識を持つユーザーがこの機能に頼る可能性は低いことを覚えておくことが重要です。

全体的に見て、Visionはパーソナルアシスタントとして有望な機能ですが、より深いコンテキスト認識と精度には改善の余地があります。画面上のコンテンツの現在の状態を積極的に監視して反応するというよりは、コマンドに基づいて「推測」しているような印象です。そのため、複雑なシナリオでは信頼性が低くなります。

最後に、このガイドで使用した具体的な質問については触れないことを明記しておきます。それらは本題とは関係ないからです。チャットボットの目的は、まるで人間と話しているかのように、通常の会話を行うことです。重要なのは、インタラクションのスムーズさです。

また、この機能はユーザーに代わってアクションを実行することはできません。画面上のコンテンツを分析することしかできません。アクションを実行するにはAIがエージェントとして機能している必要がありますが、現在この機能はCopilot+搭載PCのみで利用可能で、設定アプリで制限付きで利用できます。

最後に、この機能は無料ですが、制限があります。例えば、Microsoft 365 サブスクリプションを所有しているにもかかわらず、アプリを数回操作した後、Copilot Pro へのアップグレードを促すメッセージが表示されます。

そのため、問題のトラブルシューティングの途中で、AIアシスタントに修正を完了させるために料金を請求される可能性があります。このような対応は、無料のサポートに頼っているユーザーを不快にさせる可能性があります。