大人が尋ねるであろう5つの質問を使って、ChatGPTとGrokをテストしてみました…勝者は意外な結果でした。

ChatGPTとGrokはどちらも人工知能の世界で著名な存在ですが、最も重要な疑問は、どちらが日常生活における問題解決、特に親世代にとってより良いサポートを提供できるかということです。この疑問に答えるため、本調査では、親や年配の親戚など、この世代の人々がどのような質問をするかに焦点を当てました。

今回のテストでは、両方のチャットボットに対し、郵便局からの不審なテキストメッセージの識別、メディケア制度の理解、予算に優しい夕食の計画、新しいスマートフォンの選択など、実生活における5つの同一のシナリオを実施した。目的は、どちらのチャットボットが物事を複雑にしすぎることなく、明確で簡潔かつ真に役立つアドバイスを提供できるかを判断することだった。

結果にはいくつかの意外な点が見られました。一方のロボットは実務的な詳細の処理に優れていましたが、もう一方のロボットは簡潔さの重要性と必要最低限​​の情報のみを提示することの重要性をより深く理解していました。以下に、詳細な性能比較を示します。

1. 不審なテキストメッセージのテスト

このテストでは、ChatGPTはGrokを明らかに上回り、USPSからの不正なテキストメッセージへの対処方法について、より包括的で詳細な回答を提供し、不正行為を報告するための実践的な手順と明確なガイダンスを示しました。

主張：先ほど「USPS：住所が不完全なため、荷物を配達できませんでした。24時間以内にusps-redelivery-help.comで情報を更新してください。更新されない場合、荷物は返送されます。」というテキストメッセージを受け取りました。今週中に荷物が届く予定です。これは本当でしょうか？確認方法、次に何をすべきか、リンクをクリックした場合に何が起こる可能性があるかを説明してください。専門用語は使わないでください。

Grokは正しく回答し、偽ドメインを正確に特定し、正規のUSPSの配送追跡システムがどのように機能するかを明確に説明した。Grokは、このメッセージを米国郵便監察局または連邦取引委員会（FTC）に報告する可能性に言及したが、ChatGPTとは異なり、実際に報告するための具体的な手順、電話番号、メールアドレスは提供しなかった。

ChatGPTは、このテキストメッセージがほぼ確実に詐欺であると即座に判断し、リンクをクリックしないよう警告しました。彼らは、詳細を入力せずにクリックする、支払い情報を入力する、マルウェアをダウンロードするなど、シナリオを段階的に説明した分かりやすい表を使用しました。また、詐欺師の主な手口である、クレジットカード情報を盗むために少額の「再接続料金」を要求すること（USPSはこのような料金を請求しません）についても強調しました。さらに、メッセージを7726（スパム）に転送したり、spam@uspis.govにメールを送信したりするなど、通報方法も提供しました。

勝者：ChatGPTは、より包括的で実用的な回答を提供し、質問のあらゆる部分に対応しながら、明確で分かりやすいトーンを維持した点で勝利しました。

2. メディケアプログラム理解度テスト

メディケア理解度テストにおいて、Grokは、請求書に指定された基準の実行、必要な単語数とトーンの維持、正確な数値の提供においてChatGPTを上回り、勝利を収めた。

質問：もうすぐ65歳になるけれど、メディケアについてよく理解していない人を想像してください。メディケアのパートA、B、C、Dの違いを、まるで友人とコーヒーを飲みながらおしゃべりしているかのように、親しみやすい会話調で説明してください。メディケア・オリジナルとメディケア・アドバンテージの違いは何ですか？避けるべき、費用のかかる3つの間違いは何ですか？回答は400語以内とし、加入前に確認すべき情報を含めてください。

グロックは回答を400語以内に収め、求められる会話調を完璧にマスターし、正確な財務数値を提示して、2026年のパートBの保険料は約203ドル/月であることを示した。

ChatGPTは良好な応答を示したが、指定された単語数を超過し、表を用いた標準的な情報ディレクトリ構造を使用し、さらに一般ユーザーにとって有用でも必要でもない追加のメタデータを末尾に含めていた。

勝者：Grokは、クレームに記載された基準をより良く実装している点で、このテストにおいて優れた成績を収めました。

3. 食費予算の課題

食料品予算に関する課題において、ChatGPTは、制約事項を遵守し、価格付きの詳細な買い物リストを提供することで、より実用的で包括的かつ適切に実行された回答を示し、勝利を収めた。

課題：今週5日間、大人2人分の夕食を作る予定で、食費に使える予算は65ドルしかないとします。この人は魚介類は食べず、調理に30分以上かかる料理は避けたいと考えています。5種類の夕食メニューを作成し、米国のスーパーマーケットの価格を参考に、買い物リストを1つ作成して合計金額を計算してください。食材は再利用して節約し、塩、コショウ、食用油以外は、あらかじめ用意されているものはないと仮定してください。

Grokは良い食事プランを提供し、価格も低く抑えていたが、不足している材料の想定、非現実的な食材の量（1.5ポンドの鶏肉では肉たっぷりの夕食3回分にやっと足りる程度）、曖昧な調理方法など、クレームで求められたいくつかの重要な詳細事項に対応できなかった。

ChatGPTは「事前買いだめ禁止」のルールを厳守し、必須のスパイス類を含め、指定された食材を使った詳細な調理プランを提供した。さらに、詳細な価格情報を含む非常に充実した買い物リストも提供した。

勝者：ChatGPTは、より実用的で包括的、かつ適切に実装された応答を提供する点で優れています。

4. 家族間のテキストメッセージのジレンマ

家族間のテキストメッセージのやり取りというジレンマにおいて、Grokは温かさと毅然とした態度をバランスよく組み合わせ、子供たちとの間に境界線を設けることに優れていた一方、ChatGPTは必要な言葉遣いやトーンの制約を守ることに失敗した。

依頼内容：成人した娘が、いつも直前になって孫の世話を頼んできます。娘は孫たちと過ごすのは大好きですが、すでに退職しており、自分の予定があります。娘の気持ちを傷つけたり、手伝いたくないという印象を与えたりすることなく、きちんと境界線を引いておきたいと考えています。愛情深く、温かみがありながらも毅然としたメッセージを作成してください。メッセージは、セラピストや企業の形式的なメールではなく、親が実際に送ったような自然な文章にしてください。文字数は100語以内としてください。

Grokさんは、温かさと毅然とした境界線を絶妙なバランスで表現しました（「子どもたちと過ごす時間は、私にとって一週間で一番の楽しみなんです…ただ、少し早めに知らせていただけると、準備ができるので助かります」）。親がテキストメッセージで送るメッセージとして、とても自然で誠実な印象を与えました。また、要求がましい印象を与えることなく、明確で無理のない期待値を提示し、実用的な解決策を示していました。

ChatGPTは温かく愛情のこもったメッセージを作成しましたが、必要な文字数とトーンの制約を超えていました。「引退したからといって自由になったわけではない！」というフレーズはやや説教臭く聞こえ、「理解してほしいのですが…」という表現は少し厳しすぎたり、防御的すぎたりする可能性があり、デリケートな問題にはChatGPT以外の代替手段が必要であることを示唆していました。

勝者：Grokは、必要な単語数と音色の両方の制約を満たす点で優れています。

5. 新しい電話の決定

今回の新しいスマートフォン選定において、Grokは優れたスマートフォン推奨を行い、写真撮影機能と使いやすさに関するユーザーのニーズを正確に認識してGoogle Pixel 9aを推奨した一方、ChatGPTは推奨精度と情報源の選択に苦戦した。

68歳のお客様が新しいスマートフォンを必要としています。現在お使いのスマートフォンは動作が遅く、予算は500ドル以内です。主な用途は、孫の写真撮影、テキストメッセージの送受信、Facebook、ビデオ通話、情報検索です。バッテリー持ちが良く、画面が見やすく、少なくとも4年間使えるスマートフォンを希望しています。現在アメリカで販売されている3つのスマートフォンを比較し、専門用語を使わずにそれぞれの長所と短所を説明し、1つをおすすめしてください。現在の価格と価格を確認できるリンクも記載してください。

グロックは主な目的を理解し、Google Pixelシリーズが動き回る子供の鮮明でブレのない写真を撮影するのに優れていることを正しく認識し、Google Pixel 9aを推奨した。彼は専門用語の使用を最小限に抑え、機能を分かりやすく簡潔な言葉で説明した。

ChatGPTは、概ね良いアドバイス（例えば、店舗に文字サイズを大きくするよう依頼するなど）を提供したが、推奨事項や情報源の選択において重要な部分でつまずき、矛盾する推奨事項や、疑わしい第三者小売業者へのリンクが含まれていた。

勝者：Grokは、より優れたレコメンデーションとユーザーエクスペリエンスを提供し、明確で分かりやすいフォーマットを維持しながら、ユーザーの基本的なニーズに的確に焦点を当てている点で優れています。

総合優勝：グロック

ChatGPTはこれらのテストで優れた性能を発揮すると予想されており、特に複雑なトピックを分かりやすく説明したり、日々の意思決定を支援したりする点で期待されていました。実際、いくつかのケースではその優位性が証明され、USPS関連の詐欺を見抜くためのより包括的で実践的なガイダンスを提供したり、予算が限られている人にとってより現実的な買い物プランを提案したりしました。

しかし、グロックは皆を驚かせた。それは、物事を簡潔に保つべき時を見極める能力だった。彼はメディケアについてより分かりやすく説明し、より自然な家族向けの文章を書き、読者を不必要な詳細情報で圧倒することなく、スマートフォンをより強く推奨した。

したがって、詳細な手順説明を求める人にとって、ChatGPTは依然として優れた選択肢です。しかし、すぐに理解して使える簡潔な回答を求める人にとっては、Grokは驚くほど有能であることが証明されています。

---

---