NVIDIA y SK hynix están trabajando en el desarrollo conjunto de un AI SSD, una unidad de almacenamiento de alto rendimiento para inferencia que podría cambiar por completo el mercado del almacenamiento para sistemas de inteligencia artificial.
Este proyecto de AI SSD para mejorar el rendimiento trabajando con inferencia sería capaz de superar los 100 millones de operaciones de entrada y salida en 2027. La base técnica detrás de este proyecto sería el uso de varias capas de memoria NAND Flash apiladas para aumentar hasta en 10 veces el ancho de banda, y crear SSDs mucho más rápidos.
Apilar memoria NAND Flash en grandes cantidades dispararía el consumo de este tipo de chips, y podría afectar a la disponibilidad para el mercado de consumo general, como ya ha sucedido con la DRAM, que está siendo drenada por la alta demanda que viene del mercado de la IA.
La primera versión de esta tecnología, llamada HBF, podría ser presentada en enero del año que viene, y los primeros prototipos se enviarían para evaluación en 2027. Si se empieza a comercializar en 2027 podría crear un mercado de 1.000 millones de dólares, y crecer en 2030 hasta los 12.000 millones de dólares.
Estas unidades de almacenamiento podrían resolver los cuellos de botella que se encuentran actualmente en los sistemas de alto rendimiento para IA, y que vienen en parte de las limitaciones que tiene la memoria HBM. Esas limitaciones son sobre todo por la capacidad total para almacenar modelos con una gran cantidad de parámetros.
Por ejemplo, el modelo GPT-4 utilizado en ChatGPT consume 3,6 TB de memoria, pero la cantidad máxima que monta una GPU actual es de 192 GB, así que es necesario agrupar varias GPUs para llegar al esa cantidad de memoria requerida. El uso unidades AI SSD de apoyo con una gran capacidad de almacenamiento y un alto rendimiento podrían superar esa limitación.
