Investigadores de la Universidad de California en San Diego, Estados Unidos, escogieron un singular modo de poner a prueba las capacidades de los modelos de Inteligencia Artificial Generativa más populares. Para hacerlo, pusieron a los sistemas automatizados a jugar Super Mario Bros., el videogame clásico que Nintendo lanzó en 1985.
Por: TN
La experiencia reveló que ChatGPT de OpenAI y Gemini quedaron relegados detrás de una herramienta de IA menos conocida por las grandes audiencias.
Super Mario Bros., un inesperado banco de prueba para los modelos de IA Generativa más famosos
Los científicos de Hao AI Lab, una organización de investigación de la mencionada universidad en California, pidieron a los modelos de IA Generativa más famosos que demuestren sus habilidades en el título de Nintendo. Los resultados dieron cuenta de la preeminencia de Claude 3.5 (un modelo creado por la firma Anthropic) por sobre ChatGPT de OpenAI (GPT-4o) y Google Gemini (1.5 Pro), que presentaron más dificultades para superar los niveles del videojuego.
Siguiendo el repaso de la publicación TechCrunch, hay que notar que no los investigadores no usaron exactamente la versión original Super Mario Bros.; en cambio, el juego se ejecutó en un emulador integrado con un marco llamado GamingAgent que permitió a los diferentes modelos de IA tomar el control sobre el personaje en la pantalla.
Puedes leer la nota completa en TN