Perplexity：クラウドよりも先に許可を求めるローカルコンピュータのAI。

ほとんどのAIアシスタントは、質問、ファイル、その他のデータをサードパーティのサーバーに送信する必要がある。しかし、Perplexity社の新しいポータブルコンピュータは、その概念を覆し、AIシステム全体をユーザー自身のデバイス上で実行できる。

ポータブルコンピュータは火曜日に発表され、PerplexityのスマートコンピュータプラットフォームがNvidia DGX Sparkおよび互換性のあるNvidiaグラフィックカードを搭載したその他のLinuxデバイスに提供されることになった。

同社によると、すべてのタスクはデバイス上で開始されます。ローカルモデルがより高度な推論を必要とするステップに達した場合、Portable Computerは、そのステップをクラウド上の高度なモデルに送信する前に許可を求めます。その後、応答はローカルワークフローに返送されますが、ファイルやその他の機密情報はデバイス上に保持されます。

これは、処理するすべてのタスクを自動的にクラウドサービスプロバイダーに委ねることなく、使いやすいAIエージェントを求める人にとって魅力的なものとなる可能性がある。

しかし、かなり高額な費用がかかるという欠点もある。

ローカルにインストールされたチャットボット以上のもの

すでにオープンソースのテンプレートをダウンロードしてコンピュータ上で実行することは可能です。しかし、難しいのは、これらのテンプレートを、ファイル操作、ツールの使用、複数ステップのタスク実行が可能なAIエージェントに変換することです。

これには通常、推論エンジンの選定と設定、エージェントハーネス、サンドボックス、および外部アプリケーションへのアクセスに必要なコネクタの接続が含まれます。また、これらのコンポーネントすべてが連携して動作することを確認する責任も負います。

ポータブルコンピュータは、これらのコンポーネントを単一のシステムに統合します。ローカルモデル、推論エンジン、プロキシツール、アプリケーションコネクタ、およびコードの実行やツールの使用が可能な隔離された環境（サンドボックス）が含まれます。

人工知能は、コンピュータに保存されているファイルを操作したり、PDFを読み込んだり、シェルコマンドを実行したり、音声入力を受け付けたり、ウェブ検索を行ったりすることができます。また、Google Drive、Gmail、Slack、GitHubなどのサービスと連携させることも可能です。

Perplexityによると、コードとツールはローカルのサンドボックス環境内で使用されているとのことです。これにより、AIエージェントとマシン本体との間に一定の分離が確保されますが、AIエージェントが具体的に何にアクセスできるのか、またそれらのアクセス権限がどのように制御されているのかについて、より詳細な情報が欲しいところです。

彼は助けを求めるべき時を知っている。

ハイブリッドルーティングは、ポータブルコンピュータの中で最も興味深い部分と言えるだろう。

より小規模なローカルモデルでも、ファイルの検索、PDFからの情報抽出、あるいは一連の簡単な手順の実行には十分かもしれません。しかし、OpenAI、Anthropic、Googleなどの大規模モデルが持つ推論能力には及ばないでしょう。

Perplexityの解決策は、モデルが確実に処理できない問題に遭遇するまで、タスクをローカルに保持することです。そして、その問題に遭遇した時点で、ポータブルコンピュータは、そのステップをクラウドベースのモデルに送信できるかどうかを問い合わせることができます。

ユーザーはプライバシー設定を定義したり、独自のルーティングルールを作成したりする必要はありません。システムは処理中に判断を下しますが、ユーザーはハンドオーバーを承認する必要があります。ローカルで動作するはずのAIシステムでも、タスクが困難になるたびに密かにクラウドに戻るようでは、プライバシーは大幅に低下します。個人情報の保護方法について詳しくは、ChatGPT、Gemini、Cloud、Perplexityのプライバシーポリシーの比較をご覧ください。

Perplexity社はまた、ローカルで完了した作業は請求残高を消費しないと述べている。クラウドに送信された部分のみがクラウド使用量としてカウントされる。

サービス開始時には、27億個のパラメータを持つQwenモデル、または後から学習させた独自のPerplexityバージョンであるPPLX 27Bのいずれかを選択できる。その後、NvidiaのNemotron 3.5 Lightningモデルが提供される予定だ。ユーザーは独自のモデルと推論サーバーを持ち込むことも可能だ。

問題は設備にある。

ポータブルコンピュータは、お使いのコンピュータでは動作するかもしれませんが、すべてのコンピュータで動作するとは限りません。

このソフトウェアはまずLinux上で起動し、最低24GBのVRAMを搭載したNvidia製ハードウェアが必要です。デスクトップサイズのNvidia DGX Sparkに加え、ARMまたはx64ハードウェア上でDGX OSまたはUbuntuを実行する互換性のあるコンピュータにも対応しています。

Windows版のサポートは9月に開始予定です。PerplexityはmacOS版のサポートについてはまだ発表していません。

Perplexity Pro、Max、Enterprise Pro、およびEnterprise Maxの加入者は、ポータブルコンピュータを利用できます。ただし、対応するサブスクリプションに加入していても、ほとんどの人は必要なハードウェアを机の下に持っていないでしょう。

このため、今回の初期リリースは、通常のノートパソコンでChatGPTとPerplexityのどちらを使うか迷っている人よりも、既に高性能なNvidiaシステムを所有しているAI愛好家、開発者、企業にとってより意義のあるものとなっている。

しかし、この根底にあるアイデアは、より幅広い層に受け入れられる可能性がある。AIアシスタントは、メール、業務文書、デバイスに保存されているファイルなど、ますます多くの個人情報にアクセスできるようになっている。Plusをローカルで実行することで、ユーザーはデバイスからどのような情報がいつ送信されるかを制御する別の方法を得ることができる。

ポータブルコンピュータは、ほとんどの人にとってクラウドベースのチャットボットに取って代わるには至っていない。しかし、必要なハードウェアが手頃な価格になれば、よりパーソナライズされたAIアシスタントがどのようなものになるのかを垣間見ることができる。