La ley de Huang se hace realidad
Durante muchos años, el desarrollo de los procesadores parecía seguir la lógica de la predicción de Gordon E. Moore, según la cual cada dos años se duplica la capacidad de los procesadores centrales mientras que su coste se reduce a la mitad. Sin embargo, lo que estamos presenciando ahora se parece cada vez más a la "ley de Huang", según la predicción de Jensen Huang en 2018. Según esta ley más fresca, los procesadores gráficos van a desarrollarse mucho más rápido que las unidades centrales de procesamiento. Al mismo tiempo, la industria de las CPU llegará a su límite con unos chips cada vez más caros y la necesidad de revisar la industria de los semiconductores y los enfoques informáticos.
La tendencia hacia la ley de Huang fue demostrada recientemente por NVIDIA en la charla de su científico jefe Bill Dally.
Los últimos desarrollos del equipo de Dally consiguieron multiplicar por 1000 el rendimiento de la IA en los últimos 10 años.
Este nivel de progreso se logró en muchos sentidos gracias a la búsqueda de nuevos enfoques para optimizar la forma en que los ordenadores realizan los cálculos, facilitando la representación de los números que utilizan para realizarlos.
En concreto, la arquitectura Hopper de NVIDIA, dotada de un motor Transformer Engine, alcanza sus indicadores de alto rendimiento gracias a una mezcla dinámica de operaciones matemáticas en coma flotante y enteros de 8 y 16 bits.
Otro factor son las instrucciones cuidadosamente desarrolladas que "explican" a la GPU cómo alcanzar un mejor rendimiento con una mayor eficiencia energética.
La sparsity estructural, introducida en NVIDIA Ampere, aumenta el rendimiento de la IA al reducir el peso de los modelos de IA sin perder su precisión.
Dally se muestra optimista sobre el futuro desarrollo de los procesadores gráficos según la ley de Huang, ya que considera que su potencial no se agotará en los próximos años.