Un grupo de investigadores especializados en inteligencia artificial ha conseguido ejecutar LLaMa, un gran modelo de lenguaje (LLM) lanzado por Meta, en un PC de finales de los años noventa. Este equipo tiene unas limitaciones de hardware tan grandes que podría parecer imposible ejecutar ese LLM, pero lo han conseguido introduciendo cambios importantes para adaptarlo a ese hardware.
El PC que han utilizado tiene un Pentium II a 350 MHz, 128 MB de RAM y utiliza Windows 98 como sistema operativo. El modelo de IA se basa en código LLaMa 2.c de Andrej Karpathy. Adaptar el lenguaje a ese hardware tan antiguo, y conseguir que funcione con tan poca memoria disponible, no fue el único problema que tuvo que superar el equipo. También se encontraron con la tarea de adaptar el código para que compile y funcione en un sistema operativo de 1998.
Al final lo consiguieron. Este modelo fue capaz de generar una historia coherente con un comando, y pudo mantener un rendimiento sostenido de 39,31 tokens por segundo utilizando una versión de LLaMa con 260.000 parámetros. Esta cifra no tiene nada que ver con un modelo avanzado funcionando en hardware actual, que puede operar con miles de millones de parámetros.
Al intentar ejecutar LLaMa 3.2 con mil millones de parámetros el rendimiento cayó a 0,0093 tokens por segundo. Este experimento tiene interés porque es un logro importante para conseguir que los LLMs puedan funcionar en dispositivos con un hardware poco potente y recursos limitados. Reducir el consumo de recursos manteniendo un alto grado de funciones es otro de los grandes objetivos dentro del mundo del desarrollo de la IA.
El modelo que han creado se ha denominado llama98c, y han compartido tanto el código como una guía para que otros puedan utilizarlo en ordenadores muy antiguos.
