組織における人工知能の導入：利用状況からわかること。

人工知能に関する多くの議論は、依然としてランキング上位のモデル、どのプロバイダーが「勝者」なのか、どのベンチマークスコアが最も重要なのかといった点に集中している。しかし、実際にAIソリューションを構築・展開する組織にとって、こうした疑問よりも、AIが現実世界のシナリオでどのように活用されているかを理解することの方が重要になりつつある。

その理由の一つは、「トークンマキシング」という概念をめぐる論争の高まりである。トークンマキシングとは、人工知能の利用を最大化することを目的とした行為であり、多くの場合、社内での導入目標、インセンティブ、あるいはランキングに基づく競争によって推進される。

しかし、トークンの消費に焦点を当てると、人工知能が提供する真の商業的価値を測定するのではなく、活動そのもののための活動を助長してしまう可能性がある。

アマゾンが社内AIランキングを閉鎖したという報道や、ウーバーが年間予算をあっという間に使い果たした後、従業員のAI利用額に上限を設けたという報道など、最近の事例は、利用状況を成功の主要な指標とすることのリスクを浮き彫りにしている。

しかし、最新のデータはより複雑な状況を示唆している。VercelのAI Gatewayの7月のデータによると、トークンの取引量は6月に29%増加し、支出も27%増加したが、平均トークン価格は安定していた。企業は単にAIを利用するだけでなく、さまざまなモデルをどこに展開するか、コストとパフォーマンスのバランスをどのように取るかについて、より慎重に検討するようになっている。

真のAIシステムを構築するチームは、コスト、信頼性、推論能力に応じて、複数のモデル間でタスクを動的にルーティングする方向にますます移行している。例えば、低コストのモデルはタスクの要約に役立つ一方、高性能な推論モデルは重要な意思決定のために確保されるといった具合だ。

実際には、人工知能とは、単一のプロバイダーを中心にシステムを構築することよりも、複数のモデルにわたるレイヤーを調整することに重点が置かれている。

最新のAI Gatewayデータによると、企業は単一のプロバイダーに依存するのではなく、さまざまなモデルカテゴリにワークロードを分散させていることが明らかになりました。オープンウェイトモデルは現在、ゲートウェイトークンの29%を処理していますが、支出全体に占める割合は4%未満です。一方、フロンティアモデルは、より価値の高い推論ワークロードにおいて引き続き優位を占めています。

組織は、画一的なアプローチを採用するのではなく、目の前の課題に応じて異なるモデルを選択する。

トップチャートを凌駕する

企業におけるAI導入の初期段階では、チームは積極的に実験を行い、プロトタイプを開発し、新しいユースケースを探求するよう奨励された。これは、AIを実験段階から実用化段階へと移行させるという導入を加速させるのに役立ったが、同時に「AIが増えれば自動的に価値も増える」という単純な思い込みを生み出した。

トークンの取引量と支出額は6月に約30%増加しましたが、平均トークン価格は横ばいでした。企業は引き続きAIに多額の投資を行っていますが、低コストモデルとプレミアムモデルの間でワークロードをどのように配分するかについて、より戦略的なアプローチを取るようになっています。

この傾向は、クラウドコンピューティング黎明期など、企業が効率性を向上させる前に積極的に事業を拡大した過去の技術革新とよく似ている。AIの導入も同様の軌跡をたどっているが、そのペースははるかに速い。

AIチームにとって、 AIの成功の基盤となる最も重要な指標はコストではなく、成果です。数週間かかるエンジニアリング作業を自動化できるワークフローは、信頼性の低い成果物を生成し、初期費用を上回る運用コストを発生させる低コストのワークフローよりもはるかに効率的である可能性があります。

問題は、チームがどれだけ人工知能を少なく利用できるかではなく、どれだけ効果的に活用して意義のある問題を解決できるかである。

人工知能は業務作業を変えつつある

従来のチャットボットは、コマンドを入力して応答を受け取るという比較的単純なワークフローで動作します。一方、より高度なAIエージェントであるエージェントシステムは、全く異なる動作をします。

AIエージェントは、思考し、ツールを呼び出し、コードを実行し、情報を取得し、データベースにクエリを実行し、タスクを完了するまでに複数のステップを経て操作を繰り返します。これらの各アクションはトークンを消費します。

その結果、AIワークロードはますますエージェント主導型になりつつある。単一のリクエストであっても、舞台裏ではツール呼び出し、検証ループ、プロバイダー切り替えといった一連の処理が実行されるようになり、経済性も大きく変化している。

バックオフィスエージェントはポータルあたりのトークンコストが最も高く、トークン総数の5%を占めるに過ぎませんが、総支出額の14%を占めています。より複雑でビジネス上重要なワークロードは、より単純なAIタスクよりも高度な推論能力を必要とします。

つまり、利用量の増加は必ずしも非効率性を示すものではない。多くの場合、それはAIシステム自体の複雑化と機能向上を反映している。

差別化要因としてのインフラ

組織が複数のAIモデルやサービスプロバイダーに依存するようになるにつれ、信頼性を維持することはより複雑な課題となる。

推論タスク、マルチエージェントワークフロー、複雑な連携チェーンは、モデルプロバイダーに大きな負荷をかける可能性があります。実行中に単一のモデルが失敗すると、ワークフロー全体が崩壊する可能性があります。

その結果、フォールバックルーティングは、本番環境におけるAIの中核的なインフラストラクチャとなった。Vercelが5月に発表したAIゲートウェイレポートによると、リクエストの約3.5%は、障害、タイムアウト、またはレート決定の問題により、ルーティングの変更が必要となる。

サービスプロバイダ間の動的なルーティングがなければ、これらのリクエストは単純に失敗します。エンドユーザーにとって、サービスプロバイダの不安定さは目に見えません。彼らは問題の原因を気にせず、アプリケーションが引き続き機能するかどうかだけを気にするのです。

したがって、AIシステムが独立したエージェントとして動作する能力をますます高めるにつれて、柔軟性と協調性がモデル自体の能力と同じくらい重要になり、AIがよりスマートなエージェントへと移行することの重要性が強調される。

単一モデル時代の終焉

単一のサービスプロバイダーに依存する戦略は、維持が困難になってきている。新しいモデルが次々と登場し、価格は急速に変動し、タスクの種類によって性能が優れているモデルも異なるためだ。

今日最適なプログラミングモデルが、明日の情報検索タスク、顧客サポート、または推論ワークフローにとって最適であるとは限らない。

重要なのは、たった一つのモデルを唯一の勝者として選ぶことではありません。重要なのは、その週に最適なモデルに適応し、吸収できるAIシステムを構築することです。なぜなら、この嗜好は急速に変化し、今後も変化し続けるからです。

マルチモデルフォーマットをインフラストラクチャとして扱うチームは、新しいモデルを導入する際にシステムを再構築する必要がなくなる。