# AI分野の群魔乱舞：トランスフォーマーから百モード大戦へ先月、AI業界で激しい「動物戦争」が勃発しました。一方はあるテクノロジー大手が発表したアルパカモデルで、そのオープンソースの特性から開発者に人気があります。もう一方は「ハヤブサ」と名付けられた大規模モデルで、5月に登場した後、アルパカを押しのけてオープンソースLLMランキングの首位に立ちました。興味深いことに、「ファルコン」の開発者はテクノロジー企業ではなく、アラブ首長国連邦にある研究所です。アラブ首長国連邦の人工知能大臣は、その後、タイム誌が選ぶ「AI分野で最も影響力のある100人」に選ばれました。現在、AI分野は「群魔乱舞」の段階に入っています。十分な財力を持つ国や企業は皆、自分たちの大規模言語モデルを構築しています。湾岸諸国だけでも、この競争には一つ以上のプレイヤーがいます。投資家が不満を漏らした："当時、インターネットのビジネスモデルの革新を軽視して、壁がないと思っていた。ハードテクノロジーの大規模モデルの起業が、依然として百のモデルの戦いであるとは思わなかった..."元々は難易度の高いハードテクノロジーと考えられていたものが、どうして一国一模、至る所で開花する状況になったのか？## トランスフォーマーはゲームのルールを変えた現在、各国の企業が大規模モデルの夢を追い求めることができるのは、2017年に発表された有名な論文『Attention Is All You Need』のおかげです。この論文はTransformerアルゴリズムを公開し、現在のAIブームの引き金となりました。今日の大規模モデルは、国籍に関係なく、Transformerを基に構築されています。それ以前は、「機械に読書を教えること」が認められた学術的な難題でした。人間は読書中、現在の単語や文だけでなく、文脈を結びつけて理解します。初期の神経ネットワークはこれを実現することが難しかったが、2014年に循環神経ネットワーク(RNN)が登場して突破口が開かれました。しかし、RNNは効率が悪く、大量のパラメータを処理するのが難しいという問題があります。Transformerの登場はこの問題を解決しました。Transformerは位置エンコーディングを用いてRNNのループ設計を置き換え、並列計算を実現し、トレーニング効率を大幅に向上させました。この変化により、AIは大規模モデルの時代に突入しました。Transformerは自然言語処理分野の主流のソリューションとなりました。それは、大規模モデルを理論研究から純粋なエンジニアリングの問題に変えました - 十分な計算力とデータさえあれば、技術力を持つ企業は誰でも大規模モデルを構築できます。あるコンピュータ科学者が言ったように、AIは電力やインターネットのような汎用技術になりつつあります。特定の企業の大規模モデルが依然として優位に立っていますが、アナリストは他のテクノロジー大手もすぐに同等の製品を作り出せると予想しています。## バイモデ戦争の背後にある考察今年7月時点で、国内の大規模モデルの数は130に達し、アメリカを超えました。中米の他にも、日本、アラブ首長国連邦、インド、韓国などの比較的裕福な国々も独自の大規模モデルを発表しています。この状況はインターネットバブル時代を思い起こさせる。しかし、参入が容易であることは、誰もがAI時代の巨頭になれることを意味するわけではない。オープンソースの大規模モデルを例にとると、活発な開発者コミュニティこそがその核心的な競争力である。あるソーシャルメディアの巨人はこの道を熟知しており、そのオープンソースの大規模モデルシリーズはこの分野の風向きの標になっている。しかし、ほとんどの大規模モデルは、性能において依然としてトップ製品と明らかなギャップがあります。最新のAgentBenchのテスト結果によると、2位のスコアは1位のスコアの2/3にも満たないです。このギャップは、トップ企業が持つ優秀な科学者チームと長年の蓄積された経験に起因しています。大規模モデルの核心的な能力は単にパラメータの数だけではなく、エコシステムの構築(に関してオープンソースモデル)や純粋な推論能力(に関してクローズドソースモデル)にあります。オープンソースコミュニティの発展に伴い、各大規模モデルの性能は同質化する可能性があります。より大きな課題は商業化にあります。少数の例外を除いて、ほとんどのAI企業は巨額のコストを投入した後も収益モデルを見つけられていません。業界のリーダー企業でさえ、AI製品の価格設定に苦しんでいます。高騰する計算力コストは業界の発展の障害となっています。推定によると、世界のテクノロジー企業が大規模モデルのインフラストラクチャにかける年間支出は、その収益を大きく上回る可能性があり、大きなギャップが存在します。いくつかの企業の画期的な製品がこのAI革命を引き起こしたにもかかわらず、大規模なモデルのトレーニングだけに依存して生み出される価値には依然として疑問が残る。競争が激化し、オープンソースのモデルが増える中、純粋な大規模モデルの供給者はより大きな圧力に直面する可能性がある。iPhone 4の成功はそのプロセッサだけにあるのではなく、さまざまなアプリケーションを実行できるからです。AI分野の真の価値も具体的なアプリケーションの中で明らかになるかもしれません。
AI大規模モデルの百花繚乱、開発は容易だが商業化は難しい
AI分野の群魔乱舞：トランスフォーマーから百モード大戦へ
先月、AI業界で激しい「動物戦争」が勃発しました。一方はあるテクノロジー大手が発表したアルパカモデルで、そのオープンソースの特性から開発者に人気があります。もう一方は「ハヤブサ」と名付けられた大規模モデルで、5月に登場した後、アルパカを押しのけてオープンソースLLMランキングの首位に立ちました。
興味深いことに、「ファルコン」の開発者はテクノロジー企業ではなく、アラブ首長国連邦にある研究所です。アラブ首長国連邦の人工知能大臣は、その後、タイム誌が選ぶ「AI分野で最も影響力のある100人」に選ばれました。
現在、AI分野は「群魔乱舞」の段階に入っています。十分な財力を持つ国や企業は皆、自分たちの大規模言語モデルを構築しています。湾岸諸国だけでも、この競争には一つ以上のプレイヤーがいます。
投資家が不満を漏らした："当時、インターネットのビジネスモデルの革新を軽視して、壁がないと思っていた。ハードテクノロジーの大規模モデルの起業が、依然として百のモデルの戦いであるとは思わなかった..."
元々は難易度の高いハードテクノロジーと考えられていたものが、どうして一国一模、至る所で開花する状況になったのか？
トランスフォーマーはゲームのルールを変えた
現在、各国の企業が大規模モデルの夢を追い求めることができるのは、2017年に発表された有名な論文『Attention Is All You Need』のおかげです。この論文はTransformerアルゴリズムを公開し、現在のAIブームの引き金となりました。今日の大規模モデルは、国籍に関係なく、Transformerを基に構築されています。
それ以前は、「機械に読書を教えること」が認められた学術的な難題でした。人間は読書中、現在の単語や文だけでなく、文脈を結びつけて理解します。初期の神経ネットワークはこれを実現することが難しかったが、2014年に循環神経ネットワーク(RNN)が登場して突破口が開かれました。
しかし、RNNは効率が悪く、大量のパラメータを処理するのが難しいという問題があります。Transformerの登場はこの問題を解決しました。Transformerは位置エンコーディングを用いてRNNのループ設計を置き換え、並列計算を実現し、トレーニング効率を大幅に向上させました。この変化により、AIは大規模モデルの時代に突入しました。
Transformerは自然言語処理分野の主流のソリューションとなりました。それは、大規模モデルを理論研究から純粋なエンジニアリングの問題に変えました - 十分な計算力とデータさえあれば、技術力を持つ企業は誰でも大規模モデルを構築できます。
あるコンピュータ科学者が言ったように、AIは電力やインターネットのような汎用技術になりつつあります。特定の企業の大規模モデルが依然として優位に立っていますが、アナリストは他のテクノロジー大手もすぐに同等の製品を作り出せると予想しています。
バイモデ戦争の背後にある考察
今年7月時点で、国内の大規模モデルの数は130に達し、アメリカを超えました。中米の他にも、日本、アラブ首長国連邦、インド、韓国などの比較的裕福な国々も独自の大規模モデルを発表しています。
この状況はインターネットバブル時代を思い起こさせる。しかし、参入が容易であることは、誰もがAI時代の巨頭になれることを意味するわけではない。オープンソースの大規模モデルを例にとると、活発な開発者コミュニティこそがその核心的な競争力である。あるソーシャルメディアの巨人はこの道を熟知しており、そのオープンソースの大規模モデルシリーズはこの分野の風向きの標になっている。
しかし、ほとんどの大規模モデルは、性能において依然としてトップ製品と明らかなギャップがあります。最新のAgentBenchのテスト結果によると、2位のスコアは1位のスコアの2/3にも満たないです。このギャップは、トップ企業が持つ優秀な科学者チームと長年の蓄積された経験に起因しています。
大規模モデルの核心的な能力は単にパラメータの数だけではなく、エコシステムの構築(に関してオープンソースモデル)や純粋な推論能力(に関してクローズドソースモデル)にあります。オープンソースコミュニティの発展に伴い、各大規模モデルの性能は同質化する可能性があります。
より大きな課題は商業化にあります。少数の例外を除いて、ほとんどのAI企業は巨額のコストを投入した後も収益モデルを見つけられていません。業界のリーダー企業でさえ、AI製品の価格設定に苦しんでいます。
高騰する計算力コストは業界の発展の障害となっています。推定によると、世界のテクノロジー企業が大規模モデルのインフラストラクチャにかける年間支出は、その収益を大きく上回る可能性があり、大きなギャップが存在します。
いくつかの企業の画期的な製品がこのAI革命を引き起こしたにもかかわらず、大規模なモデルのトレーニングだけに依存して生み出される価値には依然として疑問が残る。競争が激化し、オープンソースのモデルが増える中、純粋な大規模モデルの供給者はより大きな圧力に直面する可能性がある。
iPhone 4の成功はそのプロセッサだけにあるのではなく、さまざまなアプリケーションを実行できるからです。AI分野の真の価値も具体的なアプリケーションの中で明らかになるかもしれません。