私の個人的な経験：iPhoneでローカルに実際のAIチャットボットを実行する

AI 搭載チャットボットの例: AI言語モデルを活用してコードのデバッグからデータの異常検出まで、 و 双子座…クラウドコンピューティングに依存して機能する。しかし、サブスクリプションやインターネット接続、さらにはデバイス外へのデータ送信さえも必要とせず、大規模言語モデル（LLM）をiPhoneで直接実行できたらどうだろう？軽量でコンパクトなアプリとモデルのおかげで、これはすでに可能になっている。

私自身も試してみましたが、知っておくべきことは次のとおりです。

iPhoneでローカルにAIを実行する

次のようなオープンソースモデルを実行できるようになりました。ラマ و クウェン iOS上で直接。これらのモデルは量子化と呼ばれるプロセスを使用して縮小され、パフォーマンスに大きな影響を与えることなくモバイルメモリに収まるように圧縮されます。

しかし、重要な点があります。パフォーマンスはデバイスによって大きく異なります。例えば、Appleの最新チップを搭載したiPhone 15 Proや15 Pro Maxは、最大7億～8億のパラメータを持つモデル（Llama 3.1 8Bなど）を実行できますが、古いスマートフォンでは、1億～3億のパラメータを持つ小型モデルの方が適しています。

それを可能にするアプリ

LLMファーム（無料）: 始めるのに最も簡単な方法です。小さなモデル（Phi-3.5 Instructなど）をダウンロードし、ワンクリックでオフラインで実行できます。簡単なクエリであれば驚くほどスムーズに実行できます。
MLCチャット（無料）:
使用したアプリはこちらです。LLM Farmを試してみたかったのですが、なぜかApple App Storeからダウンロードできませんでした。無料なので試してみたところ、問題なく動作しました。
私立LLM（コミュニティプロジェクト）: このオプションは、一般ユーザー向けというよりはDIYプロジェクトに近いでしょう。このアプリには、Llama 3.1やQwenなどのモデルをiPhoneにダウンロードするための詳細なガイドが含まれています。いじくり回したり実験したりするのがお好きなら、ぜひ試してみる価値があります。
アポロ（有料）： 良い評判は聞いていますが、まだ自分で試したことはありません。このプライバシー重視のアプリについて、ぜひコメント欄で感想をお聞かせください。

モデルをローカルで実行する方法

選択したアプリをダウンロードしたら、開きます。そこから組み込みモデルのリストを閲覧し、3.5つ選択します（例：Phi-4 Instruct Q2.5 quantized）。私はQwen XNUMXを選択しましたが、これはしばらく使っていなかったという単純な理由です。

ダウンロードが完了すると、デバイスにフォームが表示されます（サイズは数百メガバイトから数ギガバイトです）。そこからチャットを始めるだけです。

現実的な視点が必要です。詳細な分析や長々とした詳細な計画を求めるべき時ではありません。以下の点を考慮してください。

スピード： 小さなモデル (1 〜 3 億のパラメータ) は応答が速くなりますが、大きなモデルではシンボルごとに数秒かかる場合があります。
コンテクスト： 記事全体を貼り付けないでください。プロンプトは短くしてください。
出力： ローカル大規模言語モデルは ChatGPT ほど正確ではないかもしれませんが、メモ取り、要約、Q&A、簡単な下書きには役立ちます。

いくつかのプロンプトを試してみて楽しかったです。複雑なことは何もありませんでした。ただ、ローカルリクエストに対してどのような応答が返ってくるかを見てみたかっただけです。すぐに気づくのは、そのスピードです。大規模な言語モデルがこれほど速く応答するのは驚きです。

私は以下の主張を試してみましたが、全体的には満足のいく結果でした。

独立宣言を3つのポイントに要約してください。
「ロボットと猫についての短い就寝前の物語を書いてください。」
「鶏肉、米、ブロッコリーを使った夕食のアイデアを3つ教えてください。」

大規模なローカル言語モデルを実行することは、チャットGPT-5確かに単純で粗雑な印象を受けます。試してみる場合は、通常のチャットボット版よりもコンテキストウィンドウがはるかに限られているため、プロンプトを短くすることを忘れないでください。ローカルの大規模言語モデルに負荷をかけると、応答が遅くなると感じるでしょう。

なぜそんなことをするのでしょうか？

購読料はかかりません。 試すためにクレジットを使い果たす必要はありません。
プライバシーが組み込まれています。 すべては自分のデバイス上に残ります。
驚くほど多用途です。 このミニチュアがこなせるタスクの多さには本当に驚きました。限界に挑戦するたびに、難なくこなしてくれました。

結論

iPhone 15以降をお持ちで、AIが「内側から」どのように見えるか知りたい方は、まずそこから始めてください。 LLMファーム أو MLCチャット すぐに無料で始められます。プライバシーを気にするなら、アプリは アポロ 試してみる価値あり。実験やカスタマイズが好きなら、 私立LLM カスタム設定をさらに深く掘り下げることができます。

ただし、これらは皆さんが慣れ親しんでいるようなフル機能のチャットボットではないので、ChatGPTのような出力は期待できません。しかし、iPhoneで独自のAIを動かすのは、かなりクールで未来的です。