Microsoft anuncia el primer chip de IA Maia 100

En la conferencia Ignite 2023 Microsoft habló por primera vez sobre el desarrollo de su propio chip acelerador de IA bajo el nombre de Maia, compartiendo las especificaciones de Maia 100 justo antes del evento. Maia 100 es uno de los mayores procesadores TSMC de nodo de 5nm y está específicamente desarrollado para altas cargas de trabajo en Azure.

Maia 100 tiene las siguientes características:

• tamaño del chip - 820 mm2;
• encapsulado: proceso N5 de TSMC con tecnología de intercalación COWOS-S;
• HBM BW/Cap - 1,8 TB/s @ 64 GB HBM2E;
• POPS de tensor de densidad máxima - 6 bits: 3, 9 bits: 1,5, BF16: 0,8;
• L1/L2 - 500 MB;
• BW de red backend: 600 GB/s (12X400 GB);
• ancho de banda del host (PCIe) = 32 GB/s PCIe Gen5X8;
• Requisitos de TDP: 700 W;
• TDP - 500 W.

Microsoft Maia 100 presenta integración vertical para optimizar costes y rendimiento, así como placas de servidor personalizadas con bastidores especialmente diseñados y una pila de software para mejorar el rendimiento.

El SoC Maia 100 tiene la siguiente arquitectura:

• Bloque tensorial de alta velocidad para formación y procesamiento de salida con soporte para una amplia gama de tipos de datos 16xRx16.
• El procesador vectorial es un motor superescalar de acoplamiento flexible diseñado mediante una arquitectura de conjuntos de instrucciones (ISA) que admite una amplia gama de tipos de datos, incluidos FP32 y BF16.
• Acceso directo a memoria (DMA) compatible con diferentes esquemas de segmentación de tensor.
• Programación asíncrona proporcionada por semáforos hardware.
• L1 y L2 se gestionan por software para mejorar la utilización de los datos y la eficiencia energética.
• Maia 100 utiliza una interconexión basada en Ethernet con un protocolo personalizado de tipo RoCE para computación de ancho de banda ultraelevado, que admite un ancho de banda todo-reunido y disperso-reducido de hasta 4800 Gbps y un ancho de banda todo-a-todo de hasta 1200 Gbps.

El SDK de Maia permite portar rápidamente modelos PyTorch y Triton a Maia, con herramientas para un despliegue sencillo en Azure OpenAI Services. Los desarrolladores pueden utilizar el lenguaje de programación Triton para DNNs o la API de Maia para un rendimiento optimizado. El SDK también admite modelos PyTorch de forma nativa.