La red en la era de la IA: fuentes de demanda y direcciones de innovación
La red desempeña un papel clave en la era de los grandes modelos de IA. Con el rápido crecimiento de la escala de los grandes modelos, los clústeres de múltiples servidores se han convertido en la principal forma de resolver el entrenamiento de modelos, lo que también es la base para el aumento del estatus de la red en la era de la IA. En comparación con el pasado, cuando se utilizaba únicamente para la transmisión de datos, hoy en día la red se utiliza más para sincronizar los parámetros del modelo entre las tarjetas gráficas, lo que plantea mayores exigencias en cuanto a la densidad y capacidad de la red.
Los requisitos de red para el entrenamiento de modelos grandes provienen principalmente de tres aspectos:
El tamaño del modelo está creciendo rápidamente, la potencia de cálculo de una sola tarjeta ya no puede satisfacer la demanda, se necesita conectar múltiples tarjetas a través de la red para trabajar de manera conjunta.
Durante el entrenamiento en paralelo, se necesita alinear los parámetros entre las tarjetas después de cada cálculo, lo que plantea altas exigencias para la transmisión y el intercambio de la red.
Durante un entrenamiento prolongado, las fallas en la red pueden causar pérdidas enormes, lo que requiere una alta estabilidad de la red.
La innovación en la red se centra principalmente en las siguientes direcciones:
Actualización del medio de transmisión: los módulos ópticos, al buscar altas tasas de velocidad, también están explorando rutas de reducción de costos como LPO y fotónica de silicio. Los cables de cobre todavía tienen ventajas en conexiones de corta distancia. Nuevas tecnologías como Chiplet y expansión a nivel de oblea están acelerando la exploración de interconexiones basadas en silicio.
Competencia de protocolos de red: protocolos de comunicación entre chips fuertemente vinculados a las tarjetas gráficas, como NVLINK, Infinity Fabric, etc. La comunicación entre nodos se basa principalmente en la competencia entre InfiniBand y Ethernet.
Transformación de la arquitectura de red: Aunque la arquitectura de hoja de ruta se aplica ampliamente, a medida que aumenta la escala del clúster, nuevas arquitecturas como Dragonfly y Rail-only tienen el potencial de convertirse en la dirección de desarrollo de clústeres de gran tamaño.
Innovación en conmutadores: además de la actualización de conmutadores eléctricos, los conmutadores ópticos también comienzan a destacar y se espera que desempeñen un papel en clústeres de gran escala.
Interconexión de centros de datos: A medida que la escala de un solo centro se acerca a su límite, la interconexión de múltiples centros se convierte en una nueva dirección de investigación, lo que traerá nuevas demandas como módulos ópticos de alta velocidad a larga distancia.
Las recomendaciones de inversión se centran en dos direcciones: una es el núcleo del sistema de comunicación, como Zhongji Xuchuang, New E-Song y Tianfu Communication; la otra es la innovación en el sistema de comunicación, como Changfei Fiber y Shengke Communication.
Las advertencias de riesgo incluyen una demanda de IA inferior a la esperada, la falla de la ley de escalado, el aumento de la competencia en la industria, entre otros.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
19 me gusta
Recompensa
19
5
Compartir
Comentar
0/400
GasGuzzler
· 07-20 23:18
Esto huele realmente bien al freír.
Ver originalesResponder0
GamefiHarvester
· 07-19 20:15
Esta historia trata sobre un tonto.
Ver originalesResponder0
GraphGuru
· 07-19 20:13
Los duros golpean al gran modelo
Ver originalesResponder0
LiquidityWizard
· 07-19 20:07
teóricamente hablando, los cuellos de botella de la red tienen un 73.6% de probabilidad de ser nuestro próximo riesgo sistémico... *bebe café a las 3am*
Ver originalesResponder0
NightAirdropper
· 07-19 19:58
¡Solo enrolla y listo! Se ha perdido la mentalidad.
Innovación en la red en la era de la IA: de la demanda de entrenamiento de grandes modelos a oportunidades de inversión
La red en la era de la IA: fuentes de demanda y direcciones de innovación
La red desempeña un papel clave en la era de los grandes modelos de IA. Con el rápido crecimiento de la escala de los grandes modelos, los clústeres de múltiples servidores se han convertido en la principal forma de resolver el entrenamiento de modelos, lo que también es la base para el aumento del estatus de la red en la era de la IA. En comparación con el pasado, cuando se utilizaba únicamente para la transmisión de datos, hoy en día la red se utiliza más para sincronizar los parámetros del modelo entre las tarjetas gráficas, lo que plantea mayores exigencias en cuanto a la densidad y capacidad de la red.
Los requisitos de red para el entrenamiento de modelos grandes provienen principalmente de tres aspectos:
El tamaño del modelo está creciendo rápidamente, la potencia de cálculo de una sola tarjeta ya no puede satisfacer la demanda, se necesita conectar múltiples tarjetas a través de la red para trabajar de manera conjunta.
Durante el entrenamiento en paralelo, se necesita alinear los parámetros entre las tarjetas después de cada cálculo, lo que plantea altas exigencias para la transmisión y el intercambio de la red.
Durante un entrenamiento prolongado, las fallas en la red pueden causar pérdidas enormes, lo que requiere una alta estabilidad de la red.
La innovación en la red se centra principalmente en las siguientes direcciones:
Actualización del medio de transmisión: los módulos ópticos, al buscar altas tasas de velocidad, también están explorando rutas de reducción de costos como LPO y fotónica de silicio. Los cables de cobre todavía tienen ventajas en conexiones de corta distancia. Nuevas tecnologías como Chiplet y expansión a nivel de oblea están acelerando la exploración de interconexiones basadas en silicio.
Competencia de protocolos de red: protocolos de comunicación entre chips fuertemente vinculados a las tarjetas gráficas, como NVLINK, Infinity Fabric, etc. La comunicación entre nodos se basa principalmente en la competencia entre InfiniBand y Ethernet.
Transformación de la arquitectura de red: Aunque la arquitectura de hoja de ruta se aplica ampliamente, a medida que aumenta la escala del clúster, nuevas arquitecturas como Dragonfly y Rail-only tienen el potencial de convertirse en la dirección de desarrollo de clústeres de gran tamaño.
Innovación en conmutadores: además de la actualización de conmutadores eléctricos, los conmutadores ópticos también comienzan a destacar y se espera que desempeñen un papel en clústeres de gran escala.
Interconexión de centros de datos: A medida que la escala de un solo centro se acerca a su límite, la interconexión de múltiples centros se convierte en una nueva dirección de investigación, lo que traerá nuevas demandas como módulos ópticos de alta velocidad a larga distancia.
Las recomendaciones de inversión se centran en dos direcciones: una es el núcleo del sistema de comunicación, como Zhongji Xuchuang, New E-Song y Tianfu Communication; la otra es la innovación en el sistema de comunicación, como Changfei Fiber y Shengke Communication.
Las advertencias de riesgo incluyen una demanda de IA inferior a la esperada, la falla de la ley de escalado, el aumento de la competencia en la industria, entre otros.