# AIとクリプト：ゼロから頂点へAI業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模モデルの出現は、各業界の効率を大幅に向上させ、ボストンコンサルティングはGPTによってアメリカの労働効率が約20%向上したと考えています。同時に、大規模モデルがもたらす汎化能力は新しいソフトウェア設計のパラダイムと見なされています。過去のソフトウェア設計は正確なコードでしたが、現在のソフトウェア設計はより汎化された大規模モデルフレームワークをソフトウェアに組み込むことで、これらのソフトウェアはより良いパフォーマンスを発揮し、より広範なモダリティの入力と出力をサポートできるようになっています。深層学習技術は確かにAI業界に第四次の繁栄をもたらしましたが、この波はCrypto業界にも広がっています。本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術の発明が業界に与えた影響について詳細に探討します。次に、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流、及びその発展状況とトレンドを深く分析します。その後、本質的にCryptoとAI業界の関係について詳細に探討し、Crypto関連のAI産業チェーンの構図を整理しました。! [新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-7e025deb1fddcd5fa716b6f144701074)## AI業界の歴史AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、多くの人工知能を実現する流派を発展させてきました。現代の人工知能技術で主に使用されているのは「機械学習」という用語であり、この技術の理念は、機械がデータに依存してタスクを反復的に改善し、システムの性能を向上させることです。主な手順は、データをアルゴリズムに送信し、このデータを使用してモデルをトレーニングし、モデルをテストしてデプロイし、モデルを使用して自動化された予測タスクを完了することです。現在、機械学習には3つの主要な流派があり、それぞれ結合主義、記号主義、行動主義であり、それぞれ人間の神経系、思考、行動を模倣しています。現在、神経ネットワークを代表とするコネクショニズムが優位を占めており(、深層学習とも呼ばれています)。その主な理由は、このアーキテクチャには入力層と出力層があり、複数の隠れ層があるためです。層の数と神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクにフィットする機会が十分に得られます。データを入力することで、神経元のパラメータを調整し続けることができ、最終的に多くのデータを経た神経元は最適な状態(のパラメータ)に達します。これが私たちが言う「大きな力が奇跡を生む」ということの意味であり、またこれが「深層」という言葉の由来でもあります------十分な層数と神経元の数があるのです。例えば、簡単に理解するために関数を構築したとします。この関数にX=2を入力するとY=3、X=3を入力するとY=5となります。すべてのXに対してこの関数を対応させたい場合は、この関数の次数とそのパラメーターを追加し続ける必要があります。例えば、現在、条件を満たす関数をY = 2X -1と構築できますが、X=2、Y=11というデータがある場合は、これらの三つのデータポイントに適した関数を再構築する必要があります。GPUを使用してブルートフォースで解決した結果、Y = X2 -3X +5が適切であることが分かりましたが、データと完全に一致する必要はなく、バランスを遵守し、概ね類似した出力であれば十分です。ここでX2、X、X0は異なるニューロンを表しており、1、-3、5はそのパラメーターです。この時、もし私たちが大量のデータを神経ネットワークに入力すると、ニューロンを増やしたり、パラメータを反復させたりして新しいデータにフィットさせることができます。これにより、すべてのデータにフィットさせることができます。神経ネットワークに基づく深層学習技術は、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、複数の技術の反復と進化を経て、最終的には現代の大規模モデルであるGPTなどが使用するTransformer技術に進化しました。Transformer技術は神経ネットワークの進化の一方向に過ぎず、変換器(Transformer)を追加して、音声、動画、画像などのすべてのモダリティ(のデータを対応する数値にエンコードして表現します。そして、それを神経ネットワークに入力することで、神経ネットワークはあらゆる種類のデータをフィットさせることができ、すなわちマルチモーダルを実現します。! [新参者科学人気丨AI×暗号:ゼロからピークまで])https://img-cdn.gateio.im/social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c(AIの発展は三度の技術波を経てきました。第一次の波は1960年代で、AI技術が提唱されてから十年後のことです。この波は記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間と機械の対話の問題を解決しました。同時期に、専門家システムが誕生しました。これはスタンフォード大学が完成させたDENRAL専門家システムであり、非常に強力な化学知識を持ち、問題を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは、化学知識ベースと推論システムの融合と見なすことができます。専門家システムの後、1990年代にジュデア・パール)Judea Pearl(がベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提唱し、行動主義の誕生を示しました。1997年、IBMのディープブルー"Blue"が国際チェスチャンピオンのカスパロフを3.5:2.5で打ち負かし)Kasparov(、この勝利は人工知能のマイルストーンと見なされ、AI技術は第二の発展の高潮を迎えました。第3のAI技術の波は2006年に発生しました。深層学習の三巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioが深層学習の概念を提唱しました。これは人工神経ネットワークを基盤とし、データの表現学習を行うアルゴリズムです。その後、深層学習のアルゴリズムは次第に進化し、RNN、GANからTransformerやStable Diffusionまで、これら2つのアルゴリズムがこの第3の技術の波を形成し、連結主義の全盛期でもありました。多くの象徴的な出来事は、深層学習技術の探求と進化と共に徐々に現れました。包括して:* 2011年、IBMのワトソン)Watson(が「危険な境界」)Jeopardy(のクイズ番組で人間に勝ち、優勝しました。* 2014年、GoodfellowはGAN)生成的敵対ネットワーク、Generative Adversarial Network(を提唱し、2つのニューラルネットワークが相互に競い合うことで学習し、リアルに見える写真を生成できることを示しました。また、Goodfellowは「Deep Learning」という書籍も執筆しており、これは「花書」と呼ばれ、深層学習分野の重要な入門書の一つです。* 2015年、ヒントンらは「ネイチャー」誌で深層学習アルゴリズムを提唱し、この深層学習手法の提案は、学術界や産業界で直ちに大きな反響を呼び起こしました。* 2015年にOpenAIが設立され、マスク、YCの社長アルトマン、エンジェル投資家ピーター・ティール)などが共同で10億ドルの資金を出資することを発表しました。* 2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンであるプロ九段棋士の李世石と囲碁の人機戦を行い、4対1の総スコアで勝利しました。* 2017年、ハンソンロボティクス社(Hanson Robotics)が開発したヒューマノイドロボット、ソフィアは、歴史上初めて市民権を得たロボットとされ、豊かな表情と人間の言語理解能力を備えています。※2017年、GoogleがTransformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。※2018年、OpenAIは、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT(Generative Pre-trained Transformer)をリリースしました。* 2018年、GoogleチームのDeepmindは深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野における大きな進歩の象徴と見なされている。* 2019年、OpenAIはGPT-2を発表しました。このモデルは15億のパラメーターを備えています。* 2020年、OpenAIが開発したGPT-3は、1750億のパラメータを持ち、以前のバージョンGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用してトレーニングされ、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、文章作成)の最先端のパフォーマンスを達成しています。* 2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。* 2023年1月にGPT-4モデルに基づいたChatGPTアプリケーションがリリースされ、3月にはChatGPTが1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなりました。※2024年、OpenAIはGPT-4 omniを発売します。注:人工知能に関する論文は多く、流派も多様で、技術の進化も様々であるため、ここでは主に深層学習や結合主義の発展の歴史に従うことにします。他の流派や技術はまだ高速で発展している過程にあります。! 【新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-0c9bdea33a39a2c07d1f06760ed7e804)## ディープラーニング産業チェーン現在、大規模モデルの言語は神経ネットワークに基づく深層学習の手法を使用しています。GPTを筆頭にした大規模モデルは人工知能のブームを生み出し、多くのプレイヤーがこの分野に参入してきました。また、データと計算力に対する市場の需要が急増していることも明らかになりました。したがって、このレポートの部分では、主に深層学習アルゴリズムの産業チェーンを探求します。深層学習アルゴリズムが主導するAI業界において、上流と下流はどのように構成されているのか、またその現状と需給関係、将来の発展はどのようになるのかを考察します。まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs(大規模モデル)のトレーニングは、合計で三つのステップに分かれているということです。トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則では、英単語または文字はおおよそ1つのトークンと見なされ、各漢字はおおよそ2つのトークンと見なされます。これがGPTの価格設定に使用される基本単位でもあります。第一歩、事前学習。入力層に十分なデータ対を与えることによって、報告の第一部で例示された(X,Y)のように、モデル下の各ニューロンの最適なパラメータを探します。この時、多量のデータが必要であり、このプロセスは最も計算リソースを消費するプロセスでもあります。なぜなら、ニューロンがさまざまなパラメータを試すために反復してイテレーションを行うからです。一批のデータ対の訓練が完了した後、一般的には同じバッチのデータを使用してパラメータをイテレーションするために再訓練が行われます。第2ステップ、ファインチューニング。ファインチューニングは、少量ですが非常に高品質なデータを用いてモデルを訓練することです。このような変更により、モデルの出力の品質が向上します。事前トレーニングには大量のデータが必要ですが、多くのデータにはエラーや低品質のものが含まれている可能性があります。ファインチューニングのステップは、質の高いデータを通じてモデルの品質を向上させることができます。第三ステップ、強化学習。まず、新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果をランキングすることです。したがって、このモデルの実現は比較的簡単です。なぜなら、ビジネスシーンがかなり特化しているからです。その後、このモデルを使用して、私たちの大きなモデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを使用して大きなモデルのパラメータを自動的に反復させることができます。(しかし、時には人間が関与してモデルの出力品質を評価する必要もあります)要するに、大規模モデルのトレーニング過程では、事前学習はデータ量に非常に高い要求があり、必要とされるGPU計算力も最も多く、ファインチューニングはパラメータを改善するためにより高品質なデータを必要とし、強化学習は報酬モデルを通じてパラメータを反復的に更新してより高品質な結果を出力することができます。トレーニングの過程では、パラメータが多ければ多いほど、その汎化能力の上限が高くなります。例えば、関数の例を挙げると、Y = aX + bですが、実際には2つのニューロンXとX0があるため、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、その本質は依然として1本の直線だからです。ニューロンが増えれば、より多くのパラメータを反復でき、より多くのデータをフィットできるようになります。これが大規模モデルが奇跡を生む理由であり、一般的に「大モデル」と呼ばれる理由でもあります。本質的には膨大なニューロンとパラメータ、膨大なデータが必要であり、同時に膨大な計算能力も必要です。したがって、大規模モデルのパフォーマンスに影響を与える主な要因は、パラメータの数、データの量と質、計算力の3つであり、これら3つが共同で大規模モデルの結果の質と一般化能力に影響を与えています。パラメータの数をp、データの量をn(トークンの数で計算すると)、一般的な経験則に基づいて必要な計算量を計算することができ、これにより大まかに必要な計算力の状況と訓練時間を予測できます。計算能力は通常、フロップに基づいています
AIと暗号資産のクロスオーバー融合：デプス学習が業界の構図をどのように再構築するか
AIとクリプト：ゼロから頂点へ
AI業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模モデルの出現は、各業界の効率を大幅に向上させ、ボストンコンサルティングはGPTによってアメリカの労働効率が約20%向上したと考えています。同時に、大規模モデルがもたらす汎化能力は新しいソフトウェア設計のパラダイムと見なされています。過去のソフトウェア設計は正確なコードでしたが、現在のソフトウェア設計はより汎化された大規模モデルフレームワークをソフトウェアに組み込むことで、これらのソフトウェアはより良いパフォーマンスを発揮し、より広範なモダリティの入力と出力をサポートできるようになっています。深層学習技術は確かにAI業界に第四次の繁栄をもたらしましたが、この波はCrypto業界にも広がっています。
本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術の発明が業界に与えた影響について詳細に探討します。次に、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流、及びその発展状況とトレンドを深く分析します。その後、本質的にCryptoとAI業界の関係について詳細に探討し、Crypto関連のAI産業チェーンの構図を整理しました。
! 新人科学丨AI×暗号:ゼロからピークまで
AI業界の歴史
AI業界は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代や異なる学問的背景の下で、多くの人工知能を実現する流派を発展させてきました。
現代の人工知能技術で主に使用されているのは「機械学習」という用語であり、この技術の理念は、機械がデータに依存してタスクを反復的に改善し、システムの性能を向上させることです。主な手順は、データをアルゴリズムに送信し、このデータを使用してモデルをトレーニングし、モデルをテストしてデプロイし、モデルを使用して自動化された予測タスクを完了することです。
現在、機械学習には3つの主要な流派があり、それぞれ結合主義、記号主義、行動主義であり、それぞれ人間の神経系、思考、行動を模倣しています。
現在、神経ネットワークを代表とするコネクショニズムが優位を占めており(、深層学習とも呼ばれています)。その主な理由は、このアーキテクチャには入力層と出力層があり、複数の隠れ層があるためです。層の数と神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクにフィットする機会が十分に得られます。データを入力することで、神経元のパラメータを調整し続けることができ、最終的に多くのデータを経た神経元は最適な状態(のパラメータ)に達します。これが私たちが言う「大きな力が奇跡を生む」ということの意味であり、またこれが「深層」という言葉の由来でもあります------十分な層数と神経元の数があるのです。
例えば、簡単に理解するために関数を構築したとします。この関数にX=2を入力するとY=3、X=3を入力するとY=5となります。すべてのXに対してこの関数を対応させたい場合は、この関数の次数とそのパラメーターを追加し続ける必要があります。例えば、現在、条件を満たす関数をY = 2X -1と構築できますが、X=2、Y=11というデータがある場合は、これらの三つのデータポイントに適した関数を再構築する必要があります。GPUを使用してブルートフォースで解決した結果、Y = X2 -3X +5が適切であることが分かりましたが、データと完全に一致する必要はなく、バランスを遵守し、概ね類似した出力であれば十分です。ここでX2、X、X0は異なるニューロンを表しており、1、-3、5はそのパラメーターです。
この時、もし私たちが大量のデータを神経ネットワークに入力すると、ニューロンを増やしたり、パラメータを反復させたりして新しいデータにフィットさせることができます。これにより、すべてのデータにフィットさせることができます。
神経ネットワークに基づく深層学習技術は、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANなど、複数の技術の反復と進化を経て、最終的には現代の大規模モデルであるGPTなどが使用するTransformer技術に進化しました。Transformer技術は神経ネットワークの進化の一方向に過ぎず、変換器(Transformer)を追加して、音声、動画、画像などのすべてのモダリティ(のデータを対応する数値にエンコードして表現します。そして、それを神経ネットワークに入力することで、神経ネットワークはあらゆる種類のデータをフィットさせることができ、すなわちマルチモーダルを実現します。
! [新参者科学人気丨AI×暗号:ゼロからピークまで])https://img-cdn.gateio.im/webp-social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c.webp(
AIの発展は三度の技術波を経てきました。第一次の波は1960年代で、AI技術が提唱されてから十年後のことです。この波は記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間と機械の対話の問題を解決しました。同時期に、専門家システムが誕生しました。これはスタンフォード大学が完成させたDENRAL専門家システムであり、非常に強力な化学知識を持ち、問題を通じて推論を行い、化学の専門家と同じような答えを生成します。この化学専門家システムは、化学知識ベースと推論システムの融合と見なすことができます。
専門家システムの後、1990年代にジュデア・パール)Judea Pearl(がベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提唱し、行動主義の誕生を示しました。
1997年、IBMのディープブルー"Blue"が国際チェスチャンピオンのカスパロフを3.5:2.5で打ち負かし)Kasparov(、この勝利は人工知能のマイルストーンと見なされ、AI技術は第二の発展の高潮を迎えました。
第3のAI技術の波は2006年に発生しました。深層学習の三巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioが深層学習の概念を提唱しました。これは人工神経ネットワークを基盤とし、データの表現学習を行うアルゴリズムです。その後、深層学習のアルゴリズムは次第に進化し、RNN、GANからTransformerやStable Diffusionまで、これら2つのアルゴリズムがこの第3の技術の波を形成し、連結主義の全盛期でもありました。
多くの象徴的な出来事は、深層学習技術の探求と進化と共に徐々に現れました。包括して:
2011年、IBMのワトソン)Watson(が「危険な境界」)Jeopardy(のクイズ番組で人間に勝ち、優勝しました。
2014年、GoodfellowはGAN)生成的敵対ネットワーク、Generative Adversarial Network(を提唱し、2つのニューラルネットワークが相互に競い合うことで学習し、リアルに見える写真を生成できることを示しました。また、Goodfellowは「Deep Learning」という書籍も執筆しており、これは「花書」と呼ばれ、深層学習分野の重要な入門書の一つです。
2015年、ヒントンらは「ネイチャー」誌で深層学習アルゴリズムを提唱し、この深層学習手法の提案は、学術界や産業界で直ちに大きな反響を呼び起こしました。
2015年にOpenAIが設立され、マスク、YCの社長アルトマン、エンジェル投資家ピーター・ティール)などが共同で10億ドルの資金を出資することを発表しました。
2016年、深層学習技術に基づくAlphaGoが囲碁の世界チャンピオンであるプロ九段棋士の李世石と囲碁の人機戦を行い、4対1の総スコアで勝利しました。
2017年、ハンソンロボティクス社(Hanson Robotics)が開発したヒューマノイドロボット、ソフィアは、歴史上初めて市民権を得たロボットとされ、豊かな表情と人間の言語理解能力を備えています。
※2017年、GoogleがTransformerアルゴリズムを提案した論文「Attention is all you need」を発表し、大規模な言語モデルが登場し始めました。
※2018年、OpenAIは、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT(Generative Pre-trained Transformer)をリリースしました。
2018年、GoogleチームのDeepmindは深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野における大きな進歩の象徴と見なされている。
2019年、OpenAIはGPT-2を発表しました。このモデルは15億のパラメーターを備えています。
2020年、OpenAIが開発したGPT-3は、1750億のパラメータを持ち、以前のバージョンGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用してトレーニングされ、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、文章作成)の最先端のパフォーマンスを達成しています。
2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。
2023年1月にGPT-4モデルに基づいたChatGPTアプリケーションがリリースされ、3月にはChatGPTが1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなりました。
※2024年、OpenAIはGPT-4 omniを発売します。
注:人工知能に関する論文は多く、流派も多様で、技術の進化も様々であるため、ここでは主に深層学習や結合主義の発展の歴史に従うことにします。他の流派や技術はまだ高速で発展している過程にあります。
! 【新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp)
ディープラーニング産業チェーン
現在、大規模モデルの言語は神経ネットワークに基づく深層学習の手法を使用しています。GPTを筆頭にした大規模モデルは人工知能のブームを生み出し、多くのプレイヤーがこの分野に参入してきました。また、データと計算力に対する市場の需要が急増していることも明らかになりました。したがって、このレポートの部分では、主に深層学習アルゴリズムの産業チェーンを探求します。深層学習アルゴリズムが主導するAI業界において、上流と下流はどのように構成されているのか、またその現状と需給関係、将来の発展はどのようになるのかを考察します。
まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs(大規模モデル)のトレーニングは、合計で三つのステップに分かれているということです。
トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則では、英単語または文字はおおよそ1つのトークンと見なされ、各漢字はおおよそ2つのトークンと見なされます。これがGPTの価格設定に使用される基本単位でもあります。
第一歩、事前学習。入力層に十分なデータ対を与えることによって、報告の第一部で例示された(X,Y)のように、モデル下の各ニューロンの最適なパラメータを探します。この時、多量のデータが必要であり、このプロセスは最も計算リソースを消費するプロセスでもあります。なぜなら、ニューロンがさまざまなパラメータを試すために反復してイテレーションを行うからです。一批のデータ対の訓練が完了した後、一般的には同じバッチのデータを使用してパラメータをイテレーションするために再訓練が行われます。
第2ステップ、ファインチューニング。ファインチューニングは、少量ですが非常に高品質なデータを用いてモデルを訓練することです。このような変更により、モデルの出力の品質が向上します。事前トレーニングには大量のデータが必要ですが、多くのデータにはエラーや低品質のものが含まれている可能性があります。ファインチューニングのステップは、質の高いデータを通じてモデルの品質を向上させることができます。
第三ステップ、強化学習。まず、新しいモデルを構築します。これを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果をランキングすることです。したがって、このモデルの実現は比較的簡単です。なぜなら、ビジネスシーンがかなり特化しているからです。その後、このモデルを使用して、私たちの大きなモデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを使用して大きなモデルのパラメータを自動的に反復させることができます。(しかし、時には人間が関与してモデルの出力品質を評価する必要もあります)
要するに、大規模モデルのトレーニング過程では、事前学習はデータ量に非常に高い要求があり、必要とされるGPU計算力も最も多く、ファインチューニングはパラメータを改善するためにより高品質なデータを必要とし、強化学習は報酬モデルを通じてパラメータを反復的に更新してより高品質な結果を出力することができます。
トレーニングの過程では、パラメータが多ければ多いほど、その汎化能力の上限が高くなります。例えば、関数の例を挙げると、Y = aX + bですが、実際には2つのニューロンXとX0があるため、パラメータがどのように変化しても、フィットできるデータは非常に限られています。なぜなら、その本質は依然として1本の直線だからです。ニューロンが増えれば、より多くのパラメータを反復でき、より多くのデータをフィットできるようになります。これが大規模モデルが奇跡を生む理由であり、一般的に「大モデル」と呼ばれる理由でもあります。本質的には膨大なニューロンとパラメータ、膨大なデータが必要であり、同時に膨大な計算能力も必要です。
したがって、大規模モデルのパフォーマンスに影響を与える主な要因は、パラメータの数、データの量と質、計算力の3つであり、これら3つが共同で大規模モデルの結果の質と一般化能力に影響を与えています。パラメータの数をp、データの量をn(トークンの数で計算すると)、一般的な経験則に基づいて必要な計算量を計算することができ、これにより大まかに必要な計算力の状況と訓練時間を予測できます。
計算能力は通常、フロップに基づいています