私の個人的な経験：iPhoneでローカルに実際のAIチャットボットを実行する

ChatGPTやGeminiといったAI搭載チャットボットは、通常、クラウドコンピューティングを利用して動作します。しかし、サブスクリプションやインターネット接続、さらには端末から離れることさえ必要とせずに、iPhone上で大規模言語モデル（LLM）を直接実行できるとしたらどうでしょうか？軽量かつコンパクトなアプリやモデルのおかげで、それが今や可能になりました。

私自身も試してみましたが、知っておくべきことは次のとおりです。

iPhoneでローカルにAIを実行する

LlamaやQwenといったオープンソースのモデルをiOS上で直接実行できるようになりました。これらのモデルは量子化と呼ばれるプロセスによって小型化されており、パフォーマンスに大きな影響を与えることなく、モバイル端末のメモリに収まるように圧縮されています。

しかし、重要な点があります。パフォーマンスはデバイスによって大きく異なります。例えば、Appleの最新チップを搭載したiPhone 15 Proや15 Pro Maxは、最大7億～8億のパラメータを持つモデル（Llama 3.1 8Bなど）を実行できますが、古いスマートフォンでは、1億～3億のパラメータを持つ小型モデルの方が適しています。

それを可能にするアプリ

LLMファーム（無料）: 始めるのに最も簡単な方法です。小さなモデル（Phi-3.5 Instructなど）をダウンロードし、ワンクリックでオフラインで実行できます。簡単なクエリであれば驚くほどスムーズに実行できます。
MLCチャット（無料）:
使用したアプリはこちらです。LLM Farmを試してみたかったのですが、なぜかApple App Storeからダウンロードできませんでした。無料なので試してみたところ、問題なく動作しました。
私立LLM（コミュニティプロジェクト）: このオプションは、一般ユーザー向けというよりはDIYプロジェクトに近いでしょう。このアプリには、Llama 3.1やQwenなどのモデルをiPhoneにダウンロードするための詳細なガイドが含まれています。いじくり回したり実験したりするのがお好きなら、ぜひ試してみる価値があります。
アポロ（有料）： 良い評判は聞いていますが、まだ自分で試したことはありません。このプライバシー重視のアプリについて、ぜひコメント欄で感想をお聞かせください。

モデルをローカルで実行する方法

選択したアプリをダウンロードしたら、開きます。そこから組み込みモデルのリストを閲覧し、3.5つ選択します（例：Phi-4 Instruct Q2.5 quantized）。私はQwen XNUMXを選択しましたが、これはしばらく使っていなかったという単純な理由です。

ダウンロードが完了すると、デバイスにフォームが表示されます（サイズは数百メガバイトから数ギガバイトです）。そこからチャットを始めるだけです。

現実的な視点が必要です。詳細な分析や長々とした詳細な計画を求めるべき時ではありません。以下の点を考慮してください。

スピード： 小さなモデル (1 〜 3 億のパラメータ) は応答が速くなりますが、大きなモデルではシンボルごとに数秒かかる場合があります。
コンテクスト： 記事全体を貼り付けないでください。プロンプトは短くしてください。
出力： ローカル大規模言語モデルは ChatGPT ほど正確ではないかもしれませんが、メモ取り、要約、Q&A、簡単な下書きには役立ちます。

いくつかのプロンプトを試してみて楽しかったです。複雑なことは何もありませんでした。ただ、ローカルリクエストに対してどのような応答が返ってくるかを見てみたかっただけです。すぐに気づくのは、そのスピードです。大規模な言語モデルがこれほど速く応答するのは驚きです。

私は以下の主張を試してみましたが、全体的には満足のいく結果でした。

独立宣言を3つのポイントに要約してください。
「ロボットと猫についての短い就寝前の物語を書いてください。」
「鶏肉、米、ブロッコリーを使った夕食のアイデアを3つ教えてください。」

ローカルの大規模言語モデルを実行することは、ChatGPT-5とチャットするのとは全く異なります。明らかにシンプルで未完成な印象を受けます。これを試す場合は、通常のチャットボットを使用する場合と比べてコンテキストウィンドウが非常に限られているため、プロンプトは短くするようにしてください。ローカルの大規模言語モデルに過負荷をかけると、応答が遅くなることに気づくでしょう。

なぜそんなことをするのでしょうか？

購読料はかかりません。 試すためにクレジットを使い果たす必要はありません。
プライバシーが組み込まれています。 すべては自分のデバイス上に残ります。
驚くほど多用途です。 このミニチュアがこなせるタスクの多さには本当に驚きました。限界に挑戦するたびに、難なくこなしてくれました。

結論

iPhone 15以降の機種をお持ちで、AIの仕組みを「内部から」探ってみたい方は、ここから始めるのがおすすめです。LLM FarmやMLCChatは、手軽に無料で始められる方法です。プライバシーが気になる方は、Apolloを試してみる価値があります。さらに、実験やカスタマイズに興味がある方は、Private LLMでパーソナライズされた設定をより深く掘り下げることができます。

ただし、これらは皆さんが慣れ親しんでいるようなフル機能のチャットボットではないので、ChatGPTのような出力は期待できません。しかし、iPhoneで独自のAIを動かすのは、かなりクールで未来的です。