Rendimiento récord: 17 000 tokens por segundo con la nueva solución de la startup Taalas

Recientemente, la startup canadiense Taalas ha anunciado su primer producto: el chip HC1 con Llama 3.1 8B. La particularidad del enfoque de la empresa es que el modelo no se carga en la memoria, sino que se integra directamente en el silicio durante la fase de producción. Como resultado, se puede alcanzar un resultado récord de 17 000 tokens por segundo por usuario. Este resultado es casi 10 veces más rápido que las soluciones con GPU, además de lograr un ahorro significativo de energía y minimizar los costes de producción.

La empresa Taalas

La startup fue fundada por Ljubiša Bajić, antiguo director de diseño de circuitos integrados en AMD, su esposa Leila Bajić (antigua directora tecnológica e ingeniera en AMD, ATI y Altera) y Drago Ignjatović (antiguo director de diseño ASIC en AMD).

El enfoque principal de la empresa podría describirse como «especificación total». La empresa tiene previsto fabricar un chip independiente para cada modelo. El microchip constará de aproximadamente 100 capas y solo las dos superiores se personalizarán de la forma necesaria, incorporando en ellas una máscara ROM recall fabric. De este modo, será posible fabricar el chip en dos meses en lugar de seis. Además, los cálculos y la memoria se combinarán en un solo cristal.

En esta etapa, una cuantificación tan agresiva reduce la calidad en comparación con los benchmarks de GPU. La startup reconoce este hecho, por lo que posiciona el producto como un servicio beta. La flexibilidad mínima del chip se mantiene gracias a la posibilidad de reentrenamiento a través de adaptadores LaRA y la presencia de una ventana contextual.

La empresa ha atraído inversiones por valor de 200 millones de dólares y tiene previsto lanzar en breve un nuevo chip de tamaño medio, y hacia finales de año es posible que se lance un LLM avanzado en la plataforma HC2.

Esperamos que el artículo le haya resultado útil. ¿Qué opina? Dé un «me gusta» y suscríbase a nuestro blog para recibir más consejos prácticos y las últimas noticias sobre tecnología de HostZealot.