ほんの数ヶ月前、ウォール街が大きな賭けをしていた生成型AIに、DeepSeekが登場したことで転換点が訪れた。DeepSeekは厳格な検閲を受けているにもかかわらず、オープンソースのアプローチによって、最先端の推論型AIモデルは必ずしも数十億ドルもの資金を必要とせず、比較的少ないリソースで実現できることを証明した。これは、高度なAIモデルの開発に関する私たちの理解を大きく変えるものだ。
Huawei、Oppo、Vivoなどの大企業によってすぐに商業的に採用され、Microsoft、Alibaba、Tencentなどの企業もすぐに自社のプラットフォームにこれを組み入れました。現在、話題の中国企業の次のターゲットは、ループする「判断・報酬」アプローチを使用して自己改善する AI モデルです。この傾向は、企業がより効率的かつ効果的な AI システムの開発を継続的に追求していることを反映しています。
ブルームバーグが報じたプレプリントの中で、DeepSeekと中国の清華大学の研究者らは、自己改善を通じてAIモデルをよりスマートかつ効率的にする新しい手法について述べている。この手法の基盤となる技術は、初期自己批判チューニング（SPCT）として知られており、技術的には生成報酬モデリング（GRM）と呼ばれている。この手法は、AI強化学習の分野における重要な進歩と言える。
簡単に言えば、リアルタイムのフィードバック ループを作成するようなものです。 AI モデルは主に、トレーニング中にモデル サイズを拡張することによって改善されます。これには多くの人的労力と計算リソースが必要です。 DeepSeek は、ユーザーのクエリに対する回答を準備する際に、主要な「仲裁者」が AI モデルに対する独自の批判と原則のセットを作成するシステムを提案しています。このアプローチは、トレーニング プロセスにおける集中的な人的リソースへの依存を減らすことを目的としています。
この一連の批判と原則は、AI モデルの中心にある確立されたルールと望ましい結果と比較されます。一致度が高い場合、報酬信号が生成され、次のラウンドでより良いパフォーマンスを発揮するように AI に効果的に指示します。この評価と報酬の継続的なプロセスにより、モデルの学習能力と適応能力が向上します。
この研究論文の執筆者たちは、この次世代の自己最適化型AIモデルをDeepSeek-GRMと呼んでいます。論文に記載されているベンチマークによると、これらのモデルはGoogleのGemini、MetaのLlama、OpenAIのGPT-4oを上回る性能を発揮しています。DeepSeekは、これらの次世代AIモデルをオープンソースを通じて公開すると述べています。このオープン性への取り組みは、人工知能分野におけるイノベーションのペースを加速させる可能性があります。
自己改善型 AI: それは可能か?
自己改善型人工知能というアイデアは、野心的かつ物議を醸す議論を巻き起こしている。元Google CEOのエリック・シュミット氏は、こうしたシステムには「電源を切る」必要があるかもしれないと述べている。フォーチュン誌はシュミット氏の発言として、「システムが自ら改善できるようになった場合、真剣に電源を切ることを検討すべきだ」と報じた。自己改善型AIシステムは、AI分野における最も重要な発展の一つと考えられている。
自己改善型人工知能の概念は、全く新しいものではない。より優れた機械を作り出すことができる超知能機械のアイデアは、実は1965年に数学者のI・J・グッドにまで遡る。2007年には、AI専門家のエリザー・ユドコフスキーが、「自己理解、自己修正、反復的な自己改善のために設計された」人工知能であるSeed AIについて理論化した。
2024年、日本の企業Sakana AIは、研究論文の執筆工程全体を最初から最後までナビゲートできるシステムである「AIワールド」コンセプトの詳細を発表した。今年3月に発表された論文で、Metaの専門家は、AI自身が審査員として機能し、トレーニング中に報酬を与える自己報酬型言語モデルを明らかにした。この自己学習型AIシステムへの動きは、人工知能の開発における大きな飛躍を意味する。
マイクロソフトのCEO、サティア・ナデラ氏は、AI開発はOpenAIのo1モデルによって最適化されており、再帰的な段階に入ったと述べている。「我々はAIを使ってAIツールを作り、より優れたAIを構築している」pic.twitter.com/IHuFIpQl2C
— ツァラトゥストラ (@tsarnick) 2024 年 10 月 21 日
Meta社が革新的な自己報酬技術を用いて開発したAIモデル「Llama 2」の内部テストでは、Anthropic社のClaude 2、Google社のGemini Pro、OpenAI社のGPT-4といった競合モデルを上回る性能を示した。Amazonが出資するAnthropic社は、報酬操作と呼ばれるこの予期せぬプロセスについて詳細を明らかにした。これは「モデルが自身の報酬メカニズムを直接変更する」というものだ。
Googleもこのアイデアに遅れをとっていません。今月初めにNature誌に掲載された研究論文の中で、Google DeepMindの専門家たちは、Minecraftを実例として、自己改善が可能なAIアルゴリズム「Dreamer」を実証しました。
IBMの専門家たちは、帰納的閉包学習と呼ばれる独自の手法に取り組んでいる。これは、AIモデルが自身の応答を用いて、それを訓練データと比較評価することで自己改善を図るというものだ。しかし、この前提全体が必ずしも肯定的なものではない。
研究によると、AI モデルが自己生成の合成データでトレーニングしようとすると、「モデル クラッシュ」と呼ばれる欠陥が発生するそうです。 DeepSeek がこのアイデアをどのように実現するのか、そして欧米の競合他社よりも経済的な方法で実現できるかどうかを見るのは興味深いでしょう。
コメントは締め切りました。