Un usuario de Reddit ha compartido su experiencia utilizando una Lenovo Thinkstation 920 con 128 GB de memoria ECC (DDR4), divididos en módulos de 8 GB, dos procesadores Intel Xeon y una GeForce RTX 5070 Ti para mover un LLM a nivel local con 35.000 millones de parámetros.
Anteriormente había utilizado modelos más ligeros, pero decidió probar Ornith 1.5 35b. Tras 90 minutos de uso, su sistema crasheó. Empezó a revisar los registros para descubrir qué había ocurrido, y encontró algunos errores en la memoria, pero no vio nada importante, así que volvió a lanzar el modelo y a los 20 minutos su equipo volvió a crashear.
Volvió a lanzarlo y a los 10 minutos los errores empezaron a acumularse en el módulo de RAM de la ranura 8. Quitó ese módulo, volvió a lanzarlo y todo funcionó sin problemas. A los 8 o 9 días de utilizar ese modelo se dio cuenta de que volvía a tener problemas, y de que estaba a punto de perder otro módulo de 8 GB de DDR4 si seguía utilizando ese LLM.
Según sus pruebas no es un problema de temperatura, porque las monitoriza de forma constante, así que decidió tomar medidas para evitarlo. Algunos usuarios dicen que no han tenido problemas con sus equipos moviendo modelos de IA en local en DDR4, y que podría ser que su memoria estuviera defectuosa y a punto de morir, pero esto sería mucha casualidad por lo del segundo módulo.
Quizá se produjeron un conjunto de problemas que concurrieron a la vez y fueron los culpables de la muerte de la RAM: el alto nivel de estrés de mover un modelo LLM como ese en local, la edad de los módulos de memoria RAM afectados y el desgaste que ya arrastraban estos.
Sin pruebas y análisis más profundos es imposible concluir que el modelo LLM 35b fue el culpable de la muerte de ese módulo de DDR4.
