Hace unos días conocimos que un experimento había conseguido llevar el modelo de lenguaje Llama de Meta a un procesador de 1998. De esta forma, dicha prueba demostró que solo necesitas 128 MB de RAM para acceder a la IA, una tecnología que está cada vez más presente en campos más allá de la industria tecnológica. Y, si este hito ya te pareció increíble, prepárate para saber cuál es la siguiente plataforma que ha conseguido ser compatible con el LLM de Meta: una Xbox 360.
Como señala TechSpot, el proyecto llama2.c es una implementación ligera del modelo Llama 2 de Meta AI en código C. Por ende, está diseñada para funcionar en una amplia gama de hardware, razón que le lleva a funcionar en dispositivos locales o plataformas en la nube. Por ello, inspirado por el experimento previo que mencionamos, Andrei David decidió adaptar llama2.c a una consola Xbox 360. Y, con ello, quiso llevar a la IA a un sistema con un procesador Xenon de 3 núcleos a 3,2 GHZ y 512 MB de memoria RAM unificada, dos limitaciones importantes para ejecutar un modelo de lenguaje moderno.
Ejecución exitosa y eficiencia en hardware limitado
La Xbox 360 utilizó una arquitectura big-endian, razón por la que David realizó conversiones de endianness en la configuración y los pesos del modelo. Así, fue necesario ajustar y optimizar extensamente el código original para que pudiera funcionar en el hardware de la consola, incluyendo además la gestión de memoria específica del sistema Xbox. Y, gracias a la arquitectura del sistema que permite a la CPU y la GPU compartir el mismo pool de RAM, dicha condición fue clave para el éxito del proyecto.
Tras múltiples optimizaciones, ya que debía ejecutar los 60 MB del modelo llama2, David logró ejecutarlo en la consola con un simple prompt. Así, no solo demostró que la implementación es viable, sino que se puede trabajar en plataformas con recursos limitados que obligan a priorizar la eficiencia en el uso de la memoria. De esta forma, el éxito del experimento ha motivado a la comunidad a explorar la posibilidad de ejecutar otros modelos ligeros de lenguaje tanto en la Xbox 360 como en otros dispositivos antiguos.
Ver 2 comentarios