Réseau à l'ère de l'IA : sources de demande et directions d'innovation
Le réseau joue un rôle clé à l'ère des grands modèles d'IA. Avec la croissance rapide de l'échelle des grands modèles, les grappes de serveurs multiples sont devenues le principal moyen de résoudre l'entraînement des modèles, ce qui constitue également la base de l'élévation du statut du réseau à l'ère de l'IA. Par rapport au passé, où il était uniquement utilisé pour le transfert de données, le réseau est désormais davantage utilisé pour synchroniser les paramètres des modèles entre les cartes graphiques, ce qui impose des exigences plus élevées en matière de densité et de capacité du réseau.
Les besoins en réseau pour l'entraînement de grands modèles proviennent principalement de trois aspects :
La taille du modèle augmente rapidement, la puissance de calcul d'une seule carte ne peut plus répondre à la demande, il est nécessaire de connecter plusieurs cartes via un réseau pour travailler en collaboration.
Dans l'entraînement parallèle, après chaque calcul, il est nécessaire d'aligner les paramètres entre les cartes, ce qui impose des exigences élevées sur le transfert et l'échange de réseau.
Pendant un long entraînement, une panne de réseau peut entraîner d'énormes pertes, nécessitant une stabilité du réseau extrêmement élevée.
L'innovation numérique se concentre principalement sur les directions suivantes :
Mise à jour du support de transmission : les modules optiques poursuivent des taux de transmission élevés tout en explorant des voies de réduction des coûts telles que LPO et la photonique sur silicium. Les câbles en cuivre conservent un avantage pour les connexions à courte distance. De nouvelles technologies telles que Chiplet et l'extension au niveau des plaquettes accélèrent l'exploration des interconnexions basées sur le silicium.
Concurrence des protocoles réseau : protocoles de communication entre les puces fortement liés aux cartes graphiques, tels que NVLINK, Infinity Fabric, etc. La communication entre les nœuds est principalement une concurrence entre InfiniBand et Ethernet.
Réforme de l'architecture réseau : Bien que l'architecture leaf-spine soit largement utilisée, avec l'augmentation de l'échelle des clusters, de nouvelles architectures comme Dragonfly et Rail-only devraient devenir la direction de développement pour les très grands clusters.
Innovation des commutateurs : En plus de la mise à niveau des commutateurs électriques, les commutateurs optiques commencent également à se faire connaître et pourraient jouer un rôle dans les clusters à très grande échelle.
Interconnexion des centres de données : avec l'échelle d'un centre unique atteignant sa limite, l'interconnexion de plusieurs centres devient une nouvelle direction de recherche, entraînant de nouveaux besoins tels que des modules optiques à haute vitesse sur de longues distances.
Les conseils d'investissement se concentrent sur deux axes : d'une part, les éléments clés du système de communication, tels que Zhongji Xuchuang, Xinyi Sheng et Tianfu Communication ; d'autre part, les éléments d'innovation du système de communication, tels que Changfei Fiber et Shengke Communication.
Les avertissements sur les risques incluent une demande d'IA inférieure aux attentes, l'échec de la loi d'échelle, une intensification de la concurrence dans l'industrie, etc.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
19 J'aime
Récompense
19
5
Partager
Commentaire
0/400
GasGuzzler
· 07-20 23:18
C'est vraiment délicieux de faire ça.
Voir l'originalRépondre0
GamefiHarvester
· 07-19 20:15
Cette histoire parle d'un pigeon.
Voir l'originalRépondre0
GraphGuru
· 07-19 20:13
Un hardcore frappe un grand modèle
Voir l'originalRépondre0
LiquidityWizard
· 07-19 20:07
théoriquement parlant, les goulets d'étranglement du réseau ont 73,6 % de chances d'être notre prochain risque systémique... *sirote un café à 3h du matin*
Voir l'originalRépondre0
NightAirdropper
· 07-19 19:58
C'est tout ce qu'il y a à faire ! L'état d'esprit est perdu.
Innovation réseau à l'ère de l'IA : des besoins de formation de grands modèles aux opportunités d'investissement
Réseau à l'ère de l'IA : sources de demande et directions d'innovation
Le réseau joue un rôle clé à l'ère des grands modèles d'IA. Avec la croissance rapide de l'échelle des grands modèles, les grappes de serveurs multiples sont devenues le principal moyen de résoudre l'entraînement des modèles, ce qui constitue également la base de l'élévation du statut du réseau à l'ère de l'IA. Par rapport au passé, où il était uniquement utilisé pour le transfert de données, le réseau est désormais davantage utilisé pour synchroniser les paramètres des modèles entre les cartes graphiques, ce qui impose des exigences plus élevées en matière de densité et de capacité du réseau.
Les besoins en réseau pour l'entraînement de grands modèles proviennent principalement de trois aspects :
La taille du modèle augmente rapidement, la puissance de calcul d'une seule carte ne peut plus répondre à la demande, il est nécessaire de connecter plusieurs cartes via un réseau pour travailler en collaboration.
Dans l'entraînement parallèle, après chaque calcul, il est nécessaire d'aligner les paramètres entre les cartes, ce qui impose des exigences élevées sur le transfert et l'échange de réseau.
Pendant un long entraînement, une panne de réseau peut entraîner d'énormes pertes, nécessitant une stabilité du réseau extrêmement élevée.
L'innovation numérique se concentre principalement sur les directions suivantes :
Mise à jour du support de transmission : les modules optiques poursuivent des taux de transmission élevés tout en explorant des voies de réduction des coûts telles que LPO et la photonique sur silicium. Les câbles en cuivre conservent un avantage pour les connexions à courte distance. De nouvelles technologies telles que Chiplet et l'extension au niveau des plaquettes accélèrent l'exploration des interconnexions basées sur le silicium.
Concurrence des protocoles réseau : protocoles de communication entre les puces fortement liés aux cartes graphiques, tels que NVLINK, Infinity Fabric, etc. La communication entre les nœuds est principalement une concurrence entre InfiniBand et Ethernet.
Réforme de l'architecture réseau : Bien que l'architecture leaf-spine soit largement utilisée, avec l'augmentation de l'échelle des clusters, de nouvelles architectures comme Dragonfly et Rail-only devraient devenir la direction de développement pour les très grands clusters.
Innovation des commutateurs : En plus de la mise à niveau des commutateurs électriques, les commutateurs optiques commencent également à se faire connaître et pourraient jouer un rôle dans les clusters à très grande échelle.
Interconnexion des centres de données : avec l'échelle d'un centre unique atteignant sa limite, l'interconnexion de plusieurs centres devient une nouvelle direction de recherche, entraînant de nouveaux besoins tels que des modules optiques à haute vitesse sur de longues distances.
Les conseils d'investissement se concentrent sur deux axes : d'une part, les éléments clés du système de communication, tels que Zhongji Xuchuang, Xinyi Sheng et Tianfu Communication ; d'autre part, les éléments d'innovation du système de communication, tels que Changfei Fiber et Shengke Communication.
Les avertissements sur les risques incluent une demande d'IA inférieure aux attentes, l'échec de la loi d'échelle, une intensification de la concurrence dans l'industrie, etc.