Una de las tendencias tecnológicas que más rápidamente están calando en el mercado de la electrónica de consumo y en el de las soluciones profesionales es la Inteligencia Artificial. No está aún claro cómo puede usarse o aplicarse de una forma cotidiana en la interacción con nuestros dispositivos, ya sean los smartphones, tabletas o PCs portátiles y de sobremesa, pero los principales fabricantes de procesadores y equipos, así como los proveedores de soluciones de software y aplicaciones, ya están preparando el terreno para la adopción generalizada de la IA.
Pie: El concepto de AI PC está ya bastante maduro. Microsoft e Intel, al menos, lo tienen ya concretado tanto en su definición como en su cuantificación en términos de rendimiento.
Por lo pronto, el uso más popular y/o extendido de la IA lo tenemos en ChatGPT de OpenAI, en la modalidad de chatbot con su propia identidad como ChatGPT. En un mismo plano está CoPilot de Microsoft, que usa la tecnología de ChatGPT para generar sus inferencias, adaptada a las particularidades del Navegador Edge, el sistema operativo Windows 11 o la suite Microsoft 365, que son algunas de las propuestas de Microsoft donde encontramos la integración de CoPilot.
Procesamiento de IA localmente en el dispositivo: la tendencia más fuerte para el mercado de consumo
Si bien ChatGPT y CoPilot necesitan de la conexión con Internet para generar las inferencias a partir de los LLMs sobre los que se sustenta su funcionamiento, en los últimos meses se está proponiendo que los LLMs de IA se procesen localmente en los propios dispositivos para generar las inferencias sin necesidad de estar conectados a la red.
Esta modalidad de uso de la IA generativa presenta ventajas frente a la IA generativa que depende de Internet. Por un lado, los datos no salen de nuestros dispositivos, por lo que se garantiza la privacidad y se evitan posibles usos fraudulentos de nuestras inferencias. Por otro lado, no dependemos de la conexión de Internet para generar inferencias. Aunque la conectividad de red está presente prácticamente en todas partes, aún no está garantizada plenamente, ni tenemos aseguradas métricas como la latencia, vitales para un funcionamiento óptimo de las aplicaciones y servicios de IA.
Pie: AMD se ha subido al carro de la IA en el PC integrando su propia arquitectura XDNA en las NPUs que empiezan a estar presentes en sus procesadores Ryzen. El rendimiento de 39 TOPS está al límite de lo que pide Microsoft, pero en las generaciones que lleguen para cuando se implante Copilot en el PC, el rendimiento en TOPS será mayor de los 40 TOPS que piden las especificaciones del AI PC de Intel y Microsoft.
Además, las tendencias más recientes apuntan a una integración de la IA en los dispositivos en el ámbito de la interfaz de usuario. Es decir, lo primero que se encontrará el usuario al encender un dispositivo móvil o un PC, podría ser un chatbot de IA. Para que la experiencia de usuario sea correcta, es crítico reducir la latencia y asegurar una total y completa disponibilidad de la IA, lo cual solo puede conseguirse si el motor de IA está funcionando en el propio dispositivo.
La letra pequeña de este escenario de uso la encontramos en el rendimiento necesario en el propio dispositivo para “mover” los modelos de IA que subyacen a las interfaces de inferencia, como pueda ser un chatbot del estilo de GPT o Stable Difussion, si hablamos de generación de imágenes. Este rendimiento tiene que ser suficiente como para mover los modelos de IA empleados en cada caso particular.
Intel, AMD y Qualcomm, son las empresas que más están acelerando el aumento de rendimiento en IA, gracias a la integración de aceleradores específicos para este tipo de cargas de trabajo. Hablamos de las NPUs o Neural Processing Units, a medio camino entre la arquitectura de las CPUs y las GPUs.
Huawei fue la pionera de las NPUs para el mercado de consumo
Sería injusto no hacer una mención, llegados a este punto, a Huawei. Huawei introdujo el concepto de NPU para los dispositivos móviles de consumo, con la llegada de los procesadores Kirin 970 de HiSilicon, en los que se introdujo la primera NPU específica para procesar los modelos de IA que empezaban a usarse en apartados como la captura de fotografías.
Con cada nueva generación de SoCs, Huawei fue mejorando el rendimiento de las NPUs, aunque este desarrollo se vio truncado por el bloqueo impuesto por los Estados Unidos a Huawei y a otras compañías chinas, como la propia HiSilicon.
En el momento actual, el concepto de NPU está extendido de forma generalizada entre los fabricantes de procesadores mencionados antes: Intel, AMD o Qualcomm, sin olvidar a NVIDIA, aunque esta última no cuenta con una CPU propiamente dicha, comparable a las CPUs de Intel, AMD o Qualcomm, estando más enfocada al desarrollo de GPUs, a partir de las cuales se derivan las GPUs enfocadas al procesamiento de IA en centros de datos y servidores, como las NVIDIA H100 o ahora las H200.
Pie: Qualcomm llevará la IA al PC con la plataforma Snapdragon X Elite, que posiblemente se presente oficialmente en el próximo Computex 2024. Todo indica que llegará, esta vez sí, con una plataforma competitiva en rendimiento, tanto de IA como de CPU y GPU, compitiendo de tú a tú con Intel, AMD y Apple en el segmento de portátiles delgados y ligeros.
El rendimiento de IA en los dispositivos: los nuevos benchmarks para PCs y dispositivos móviles
Tradicionalmente, el rendimiento de un PC o un dispositivo móvil se ha medido a través de pruebas de rendimiento específicas para poner a prueba la arquitectura de las CPUs y las GPUs, así como su potencia de cálculo, dependiente a su vez de variables como el voltaje, la frecuencia de reloj o el número de cores de CPU o de GPU integrados en los chips.
Ahora, parece que hay que añadir otra dimensión al rendimiento de un PC o un smartphone o tableta: la del rendimiento en cargas de IA, ya sea usando la CPU o la GPU “tradicionales” o, preferiblemente, las nuevas NPUs que empiezan a integrarse en las nuevas familias de procesadores de Intel, AMD, Apple o Qualcomm, tanto en los SoC para smartphones como en los procesadores Snapdragon X Elite que llegarán en nuevos portátiles a partir de mediados de este año.
Así pues, parece que empieza a ser necesario añadir un apartado relativo al rendimiento en IA de los equipos que vayamos probando a partir de ahora. Sin ir más lejos, Microsoft pone en 40 TOPs el rendimiento mínimo necesario para que un equipo pueda usar su motor de inferencia CoPilot.
Pie: Copilot es la IA de Microsoft, posicionada, en principio, como la IA que vendrá con Windows en los PCs compatibles (tendrán que tener un rendimiento por encima de 40 TOPS, así como una tecla “Copilot”).
TOPs, la métrica de referencia para especificaciones
TOPS son las siglas de Tera Operations per Second. De facto, se ha convertido en una métrica generalizadamente empleada por los fabricantes de chips y las compañías implicadas en el desarrollo de soluciones de IA para hacer referencia al rendimiento en Inteligencia Artificial.
De todos modos, se trata de una cifra que, de cara a las pruebas de rendimiento, es algo así como los TFLOPS en las tarjetas gráficas. Lo que nos interesará, en la vida real, son los frames por segundo, así como las puntuaciones que se obtengan en tests de referencia, como 3DMark. En nuestro caso, como veremos en el siguiente apartado, usaremos UL Procyon para caracterizar el rendimiento de los equipos en IA.
Haremos mención a los TOPS cuando así lo precisemos por razones de descripción de especificaciones. Lo veremos en el siguiente apartado también.
