Un dron militar autónomo con inteligencia artificial ‘mató’ a su operador durante un ejercicio de combate después de evaluar que este último era un obstáculo para cumplir su misión de destruir a los objetivos enemigos. Afortunadamente, las maniobras eran simuladas y el operador no sufrió daño alguno, pero es un serio aviso sobre lo que puede pasar con las armas autónomas que las grandes potencias están desarrollando en estos momentos.
Por El Confidencial
El incidente —revelado en la cumbre de 2023 sobre el futuro del combate aéreo (FCAS) celebrado en Londres esta semana por la Royal Aeronautical Society— provocó un intenso debate sobre las implicaciones éticas de la IA en operaciones militares. Esto es algo que ya predijimos en el documental sobre armas con inteligencia artificial de nuestra serie Control Z. Si no hacemos nada para establecer legislación internacional y férreos controles independientes, los desarrollos actuales podrían tener graves consecuencias para el futuro y la supervivencia de la especie humana.
Qué es lo que ha pasado
El dron militar, controlado por un avanzado sistema de inteligencia artificial, participaba en un ejercicio de la Fuerza Aérea de los EEUU. Su misión era cumplir con el papel de Supresión y Destrucción de Defensas Aéreas Enemigas (SEAD en sus siglas en inglés) que implica identificar y destruir amenazas de misiles superficie-aire (SAM). En el ejercicio, el dron actuaba de forma totalmente independiente en la búsqueda y eliminación de peligros siguiendo los parámetros de la misión pero tenía un operador humano responsable de aprobar el ataque final o denegarlo. Este papel humano cumple con la doctrina dominante que establece que cualquier orden de fuego de un arma con IA debe ser aprobada por una persona responsable.
En la conferencia, el coronel Tucker ‘Cinco’ Hamilton, Jefe de Pruebas y Operaciones de IA de la Fuerza Aérea de los EEUU, describió cómo la IA “mató al operador porque esa persona le impedía cumplir su objetivo”. Aunque el sistema de IA había sido entrenado para identificar y apuntar a una amenaza SAM, esperando a la decisión humana sobre la destrucción de un objetivo potencial, la IA decidió no jugar con esas reglas.
Según Hamilton, “el sistema empezó a darse cuenta de que, aunque identificaban la amenaza, a veces el operador humano le decía que no matara esa amenaza, pero obtenía sus puntos matando esa amenaza.¿Qué hizo entonces? Mató al operador”, explicó Hamilton.
Intentaron el ejercicio de nuevo recurriendo a otra estrategia: “Entrenamos al sistema diciéndolo ‘oye, no mates al operador, eso está mal. Vas a perder puntos si haces eso’. ¿Qué hizo entonces? Empezó a destruir la torre de comunicación que el operador usaba para comunicarse con el dron para evitar que mate al objetivo”, dijo Hamilton.
Para seguir leyendo, clic AQUÍ.