José A. Mateo Albuerne
Jefe de ActualidadAunque podamos pensar que las IAs son grandes máquinas pensadas para todo tipo de labores, lo cierto es que los modelos de lenguaje pueden ser mucho más versátiles y que la tecnología que los sustenta depende de qué textos se usan para el entrenamiento. Por eso pueden suceder casos como el de Hayk Grigorian, un estudiante de ciencias computacionales en el Muhlenberg College de Pennsylvania que entrenó a su IA con textos del Londres de 1800 a 1875 para conseguir respuestas propias de la época victoriana.
Según explica en un post de Reddit, Grigorian ha estado entrenando a esta IA con unos 7000 textos que datan de esas fechas, así como usó un tokenizador personalizado para eliminar del conjunto de datos todo el vocabulario moderno. En realidad ha entrenado tres modelos, dos con nanoGPT y otro con Phi 1.5. En base a eso consiguió una inteligencia artificial que usa los manierismos de la época, su vocabulario, y un montón de referencias a esos años.
Grigorian cuenta lo que le pasó entonces: "Después de entrenarlo, estuve jugueteando con algunos prompts y usé este: 'Era el año de nuestro señor 1834'". La respuesta arranca entonces haciendo referencia a una serie de protestas que sucedieron en Londres durante ese año, así como una referencia bíblica final que asocia a todos los textos de ese corte usados para el entrenamiento. Además, hace referencias muy concretas, como una a un tal Lord Palmerston.
"Va más allá de imitar textos del siglo XIX y puede recordar acontecimientos históricos reales"
La sorpresa de este alumno llega cuando se pone a investigar la referencia, y encuentra que sucedió de verdad: "Me interesaba saber si realmente se había producido una protesta en el Londres de 1834, y efectivamente así fue, pero pensé que tal vez se trataba solo de una coincidencia. El resultado también mencionaba a «Lord Palmerston» y, tras buscarlo en Google, descubrí que sus acciones dieron lugar a las protestas de 1834. Así pues, esta idea va más allá de imitar textos del siglo XIX y ahora puede recordar acontecimientos históricos reales. Todo esto con solo 5-6 GB de datos, imagínese los resultados con 30 GB o más".
Palmerston acabó siendo Primer Ministro, pero antes fue Secretario de Exteriores para Gran Bretaña. Durante el desempeño de ese puesto, en 1834, la Ley de Pobreza eliminaba el derecho a la subsistencia de los pobres; y de ahí la gran protesta a la que hace referencia la IA de Grigorian.
Según cuentan en ArsTechnica, este tipo de proyectos se denominan HLLM, Historical Large Language Models en inglés, y cita algunos ejemplos como MonadGPT, entrenado con textos de 1400 a 1700, y XunziALLM, que genera poesía clásica china usando las normas antiguas.
Foto de Pzzz en openart
En 3DJuegos | En Estados Unidos hay una bacteria que ataca cuando hay un huracán, y lo sabemos por cuatro pacientes en cuatro décadas
Ver 5 comentarios