“Stealth, la amenaza invisible” y las implicaciones del uso de sistemas de armas autónomas letales

Por Pablo Pugliese, alumno del Taller de Relaciones Internacionales, UBA.


Imagen de Stop Killer Robots
Fuente: Pressenza

Esta película de ciencia ficción no se caracterizó precisamente por haber sido un éxito de taquilla; sin embargo, un análisis exhaustivo en torno a los fugaces momentos de racionalidad argumental de la trama, permitirán poner de relieve las problemáticas fundamentales del creciente uso de armas autónomas letales en los escenarios de conflicto actuales y futuros.


Si bien la producción lanzada a mediados del año 2005 parecía ser el próximo gran éxito del cine bélico hollywoodense, las cosas no resultaron como se esperaban. La película dirigida por el prestigioso Rob Cohen, conocido por entregas como Rápido y Furioso (2001), xXx (2002) y La momia: la tumba del emperador Dragón (2008), entre otras, contaba con todos los condimentos para convertirse en uno de los filmes más aclamados: el trillado romance militar al estilo Top Gun, un Vehículo Aéreo No Tripulado de Combate (UCAV por sus siglas en inglés) descontrolado que promete desencadenar una Tercera Guerra Mundial y destacables escenas de “dogfights” futuristas conjugados con efectos especiales de aceptable calidad.

Sin embargo, la trama no resulta del todo convincente, sino que deja varias lagunas argumentales y un guión que, si bien tiene ciertos destellos de lucidez, deja mucho que desear. No obstante, y a pesar de sus defectos, la película permite abordar una de las problemáticas más debatidas de la actualidad en el ámbito de la Defensa y la Seguridad Internacional acerca de las implicaciones en torno a la utilización de los Sistemas de Armas Autónomas Letales (LAWS por sus siglas en inglés).


La película comienza presentando a los tres protagonistas de la historia: el Teniente Ben Gannon (Josh Lucas), el Teniente Henry Purcell (Jamie Foxx) y la Teniente Kara Wade (Jessica Biel), tres de los mejores pilotos de combate de la US Navy, seleccionados para ser parte de un programa secreto destinado a “destruir al enemigo en cualquier lugar que opere en el mundo”[1]. La sorpresa del programa se revelará con la incorporación al equipo de una tecnología disruptiva consistente en un Vehículo Aéreo No Tripulado de Combate, presentado como “el futuro de la guerra digital”[2], que aún se encuentra en fase de pruebas y promete ser la envidia de cualquier General.


El UCAV no solo tiene la capacidad de volar a velocidades impensables sin ser detectado debido a su tecnología furtiva (Stealth), sino que también está dotado de sensores de identificación biométricos y de una inteligencia artificial superior a todo lo conocido hasta entonces. En definitiva, el UCAV, apodado “EDI”, configura un Sistema de Armas Autónomo Letal[3] de características únicas, que garantiza la capacidad de operación de los Estados Unidos en cualquier rincón del mundo.


A continuación, nos centraremos en los aspectos más destacables e interesantes abordados en la película, en vistas a los debates actuales referidos a la utilización de sistemas de armas autónomos, para finalmente concluir con una crítica en torno a sus falencias e incoherencias argumentativas.

EL FACTOR TECNOLÓGICO COMO ELEMENTO DISRUPTIVO EN EL CAMPO DE BATALLA


Si algo pone de relieve la película es la ambigüedad en el uso de la tecnología, por cuanto como afirma Fritsch (2017), por un lado, la misma se ha convertido en un poderoso motor de cambio en el desarrollo económico, político, militar y cultural de la sociedad global, mejorando las condiciones de vida de millones de personas, pero, por otro lado, ha multiplicado la capacidad destructiva y el alcance global de los conflictos armados.


El desarrollo de EDI deja en claro la superioridad tecnológica de los Estados Unidos al mostrarlo como invulnerable contra todo tipo de armamento enemigo a lo largo de la trama, como así también, el importante rol que este tipo de desarrollo tiene para la política exterior norteamericana, al ser impulsado desde las más altas esferas burocráticas aún en detrimento de las pruebas experimentales correspondientes.


La escena donde el Capitán Dick Marshfield (Joe Morton) le advierte al Comandante Cummings (Sam Shepard) que “si apruebas un sistema de armas sin pasar primero por el período de pruebas puede haber heridos”[4] abona la tesis de Headrick (2011) de que, aunque ninguna tecnología obligue a las personas a utilizarlas, cualquier nueva forma de poder sobre la naturaleza despierta la tentación de hacerlo a pesar de los riesgos derivados


Sin embargo, las ventajas de la utilización de este tipo de sistemas no son pocas: permiten obtener una relativa superioridad militar en el teatro de operaciones, un menor costo tanto económico como político (por cuanto evitan algunas de las consecuencias dramáticas de la guerra), un menor tiempo de reacción con respecto al humano, y la obediencia incondicional por parte de la máquina ante cualquier situación (siempre que esto no falle). Esta idea queda expuesta cuando el Comandante Cummings destaca frente al cuestionamiento de los pilotos, el hecho de que con la utilización de estas tecnologías disminuyen las pérdidas humanas, y señala que este tipo de sistemas pueden ser incluso más eficientes que un piloto humano en realizar tareas, minimizando el daño colateral.


Lo cierto es que este tipo de tecnología ya no es mera ciencia ficción. En los últimos años, ha venido creciendo el uso de estos sistemas en conflictos a lo largo del mundo. Si bien al día de hoy no existe un UCAV con las prestaciones avanzadas de EDI, los desarrollos en este campo son cada vez más evidentes, y pueden observarse al sentido de Sloan (2015), con la reconversión de los actualmente utilizados sistemas semiautónomos (autodirigidos), que están programados para realizar acciones específicas, las cuales llevan a cabo independientemente de influencias o control externo; hacia los denominados sistemas autónomos (autodeterminados), que en lugar de tener una respuesta preprogramada, buscan la solución óptima en situaciones imprevistas, eligiendo su objetivo, adaptándose y aprendiendo de la información percibida a su alrededor, de manera que son capaces de responder a su entorno de diferentes maneras dependiendo de las circunstancias.


Esta suerte de eficientización del conflicto derivado del aumento de la técnica es vista por muchos como el futuro escenario de una guerra más cruel, mientras que otros expertos señalan todo lo contrario. La película en este punto es elocuente en exponer ambas visiones, tanto la optimista, encarnada en el personaje del Comandante Cummings, quien ve en EDI el futuro del combate; como la pesimista, derivada de la falla de EDI tras el impacto de un rayo que afecta su programación (neuro red) y amenaza con sumergir a los Estados Unidos en una crisis de seguridad inédita y el posible estallido de una Tercera Guerra Mundial, cuando el UCAV en cuestión comienza a volar arbitrariamente sobre territorio enemigo en busca de blancos no autorizados.


Esta situación ilustra fielmente los horrores del progreso tecnológico a partir de los cuáles, como señala Beck (2009), los humanos no somos capaces de controlar nuestras propias creaciones ni de prever sus consecuencias, por lo que nos convertimos en la fuente de nuestra propia destrucción. La ciencia pierde así su cheque en blanco a partir de que cada nueva innovación supone riesgos incalculables. En este sentido, la ciencia ficción como indica Coker (2013), refleja en algún punto nuestro propio mundo con sus respectivas preocupaciones y descontentos.

IMPLICANCIAS DEL USO DE INTELIGENCIA ARTIFICIAL EN SISTEMAS DE ARMAS AUTÓNOMAS LETALES Y SU IMPACTO EN EL ESCENARIO INTERNACIONAL


Durante el año 2014, el entonces Secretario de Defensa Chuck Hagel señaló que los rápidos avances de la inteligencia artificial definirían la próxima generación de la guerra, en el marco de la anunciada Tercera Estrategia de Compensación[5]. Ahora, si bien la película fue lanzada durante el año 2005, resulta paradójico que su trama pueda insertarse de manera perfecta en esta línea. La incorporación de EDI al escuadrón aeronaval supone la incorporación de una tecnología de punta cuyas ventajas son innumerables, al punto de que los propios pilotos temen a ser reemplazados en un futuro por el UCAV.


Sin embargo, las falencias de EDI se harán visibles en las dos primeras misiones. La primera de ellas, que consiste en la eliminación de una célula terrorista en el corazón de Rangún (Birmania), sienta un tormentoso precedente en el aprendizaje de la máquina (machine learning) cuando el Teniente Gannon desoye las órdenes de su superior y ejecuta igualmente la destrucción del objetivo tras una peligrosa maniobra, poniendo en peligro a la población civil que se encuentra en la zona del ataque.


Al regresar de la misión, EDI recibe el impacto de un rayo, antes de realizar su aterrizaje en el portaaviones USS Abraham Lincoln, a partir de lo cual, comienza a desarrollar un inexplicable comportamiento. Sin embargo, el Comandante Cummings decide ejecutar posteriormente la segunda misión, consistente en la destrucción de un conjunto de ojivas nucleares robadas, en Tayikistán.

Durante la misión, los pilotos advierten el daño colateral significativo que supone el cumplimiento de esta, por el hecho de que el ataque supondría la disipación de polvo radiactivo sobre una gran porción de tierra habitada por civiles. No obstante, y a pesar de que el Teniente Gannon decide abortar la misión, EDI acaba ejecutando el ataque sin reparar en las consecuencias derivadas del mismo, y luego decide continuar buscando blancos de ataque a lo largo y ancho del mundo, desencadenando así una trágica persecución en la que acaba muriendo el Teniente Purcell.


La autoconciencia del UCAV está signada por su evolución y su aprendizaje y estos son precisamente los elementos que lo vuelven imprevisible.


A partir de este evento, quedan contrastadas de forma nítida las diferencias entre un soldado humano, caracterizado por una amplia perspectiva situacional y una capacidad empática derivada de su conocimiento de la muerte; y un soldado robot caracterizado por una mayor rapidez y precisión en términos de eficiencia. La película destaca la idea de que los seres humanos son mejores juzgando situaciones ambiguas y complejas, mientras que las máquinas sólo superan al humano en funciones especializadas, pero su capacidad de pensamiento es limitada.


Por otro lado, la película también expone los dilemas en el uso de la inteligencia artificial aplicada en armas. La inteligencia artificial se constituye a partir de una determinada cantidad de datos de entrada que se limitan a un contexto determinado, es decir, que la base de datos es limitada y representa solo una parte de la totalidad de posibilidades reales. Los datos que recoge EDI durante su primera misión, referentes a la desobediencia del Teniente Gannon, son decisivos en su posterior comportamiento. Sumado a ello, el procesamiento de los datos seleccionados también está sesgado por la programación de la máquina, y por ende estarán sesgadas también sus conclusiones y decisiones. Esto lo podemos ver a partir de la voluntad de EDI de destruir todo blanco que amenace directa o indirectamente la seguridad de los Estados Unidos.


En este sentido, el funcionamiento de las máquinas autónomas se ajusta a su entorno y a las condiciones previamente modeladas por sus diseñadores y programadores. Los algoritmos son escritos por humanos y son estos quienes deciden las funciones de las máquinas y cómo éstas son usadas.


Lo que podemos ver claramente en la segunda misión de EDI en Tayikistán es el contraste entre el razonamiento automático de la máquina contra el razonamiento deliberativo de los pilotos. En palabras de Sharkey (2019)[6] el razonamiento deliberativo propio del ser humano se conforma por un conjunto de procesos lentos que apuntan a un razonamiento reflexivo, de vital importancia para la toma de decisiones, y que requiere de recursos cognitivos como la memoria y la atención. Mientras que el razonamiento automático que caracteriza a las máquinas presenta algunas dificultades cuando se aplica a sistemas de armas autónomos, ya que este tipo de razonamiento:


1) Descuida la ambigüedad y suprime la duda: el razonamiento automático solo produce conclusiones, de manera que, si un objetivo se ve legítimo, será legítimo a pesar de las circunstancias. No hay búsqueda de interpretaciones alternativas o margen de incertidumbre, sino que una respuesta inequívoca aparece al instante.


2) Infiere e inventa causas e intenciones: el razonamiento automático infiere rápidamente causas coherentes a partir de fragmentos de información disponible, es decir que ante una determinada circunstancia atribuye causas automáticamente, cayendo en un error sistemático del razonamiento inductivo.


3) Predisposición a la creencia y a la confirmación: el razonamiento automático favorece una aceptación de sugerencias no críticas y mantiene un fuerte sesgo.


4) Se centra en la evidencia existente e ignora la ausencia de evidencia: el razonamiento automático construye explicaciones coherentes sin consideración de evidencia o información contextual.


Todas estas premisas parecen confirmarse cuando EDI acaba ejecutando el ataque sin reparar en los daños colaterales derivados del esparcimiento de polvo radioactivo en la periferia del teatro de operaciones, justificando la posición de desconfianza del Teniente Gannon hacia la máquina, que se acaba consolidando cuando se desencadena la crisis.


A pesar de que en la película solo los Estados Unidos detenta la superioridad de dicha tecnología, la misma permite abrir ciertos interrogantes en torno a los riesgos derivados de su utilización. Con respecto a ello, cabe señalar, como indica Headrick (2011), que, aunque la tecnología proporciona a sus detentores poder sobre la naturaleza, ese poder siempre es acotado a aspectos específicos. Sin embargo, el problema radica principalmente en que el bajo costo que podría representar la producción de este tipo de sistema, haría cada vez más común su uso y proliferación, teniendo ello un impacto en las futuras formas de conflicto y quizás llevándonos hacia un escenario internacional más volátil, consecuentemente con el aumento de dichas capacidades.

Al respecto la idea del Teniente Gannon de que “la guerra se convertirá en un deporte”[7] queda reflejada a juicio del Centre Delàs d’Estudis per la Pau bajo la consigna de que “las guerras sin riesgo pueden hacer prevalecer las soluciones militares por encima de las políticas”.


LOS DILEMAS ÉTICOS EN EL USO DE SISTEMAS DE ARMAS AUTÓNOMAS LETALES


En la efímera estadía en Filipinas de los tres pilotos, el Teniente Purcell le dice a su amante en una suerte de catarsis “cuando estoy aquí abajo las cosas se ven muy diferentes, a diferencia de estar allá arriba volando, donde todo se ve muy pequeño y todo pasa tan rápido”[8]. Si bien este comentario parece inocente, revela algo que ha sido teorizado desde hace tiempo.


Filósofos como Carl Schmitt, Theodor Adorno y Hannah Arendt han vislumbrado la relación entre el desarrollo tecnológico y la ferocidad de la guerra. Ya Keegan (2013) mencionaba que con la llegada de la industrialización habían cambiado los ritmos de la guerra, de manera que las batallas adquirían una dinámica mecanicista, predominando una suerte de lógica matemática.


Siguiendo esta línea, la idea de Adorno (2001) de que, a mayor innovación tecnológica, menor faceta humana, se ve complementada por el abordaje de Schmitt (2005) quien es pionero en advertir una correlación entre el mayor perfeccionamiento de las armas y el carácter discriminatorio y moralizante de la guerra.


La frase propugnada por el Teniente Purcell es totalmente esclarecedora respecto de las consideraciones de Schmitt (2005) acerca del ataque aéreo, cuyo fin consideraba, era meramente destructivo y de demostración de fuerza. Para Schmitt (2005), el hecho de que el atacante aéreo esté demasiado lejos de la tierra como para entablar un contacto con el adversario, supone una situación asimétrica y de inferioridad, de manera que contra el enemigo cualquier medio es válido y por ello la guerra ya no puede ser acotada, sino total.

La introducción de un arma aérea completamente autónoma como EDI modifica de manera completa el concepto del espacio bélico, tanto a partir de la criminalización del enemigo, que es tomado como mero blanco, como a partir de la desvinculación física y humana que supone la máquina y que cambian a la vez las condiciones de percepción de la batalla.


Siguiendo a Sandoval (2018), ante todo, la implementación de EDI conlleva a la desaparición de la noción clásica de “campo de batalla” como el lugar acotado y delimitado donde tiene lugar el conflicto y rige el ius belli. El campo ahora es la tierra entera, con la consecuente caducidad de la noción de “zona de conflicto armado” interpretada en sentido geográfico. Para Sandoval (2018), comienza a entrar en juego una dislocación espacial (múltiples espacios) tanto física como virtual.


Además, Sandoval (2018) rescata los conceptos de Klem Ryan de disociación en el sentido de falta de compromiso que surge en la medida en que la distancia entre beligerantes aumenta desde tres puntos a considerar:


- Disociación de los agentes (burocracia militar) respecto de sus actos violentos.


- Disociación de los objetivos enemigos respecto de la fuente de violencia dirigida contra ellos,


- Disociación del público (población norteamericana) respecto de la violencia cometida en su nombre.


Y junto a ello reformula el concepto de respacialización de Hugh Gusterson, referido a un desdoblamiento o multiplicación del espacio. Parafraseando a Sandoval (2018), se abren en este sentido dos ámbitos distintos: por un lado, el espacio de acción donde opera el UCAV (campo de batalla) y por otro lado el espacio de dirección (pacificado), desde donde se le brindan las misiones y órdenes al mismo. Estos dos ámbitos representan dos realidades distintas desde el punto de vista de la vivencia de la guerra.


Siguiendo esta consigna, podemos considerar que la utilización de EDI en el teatro de operaciones produce en el enemigo una privación de la posibilidad de respuesta con respecto al atacante. En esta línea Sandoval (2018) considera que la distancia que separa a la máquina autónoma de su objetivo facilita en gran medida la administración de la violencia y se traduce asimismo en una asimetría o falta de proporcionalidad entre ataque y posibilidad de respuesta.


Entonces desde el punto de vista ético, Sandoval (2018) nos permite inferir que ya el enfrentamiento no es recíproco, sino unilateral. La guerra se convierte en un mero ejercicio de caza (enemigo = presa).


LOS DILEMAS Y DESAFÍOS JURÍDICOS EN TORNO A LA UTILIZACIÓN DE SISTEMAS DE ARMAS AUTÓNOMAS LETALES


Uno de los aspectos más interesante que se pierden de vista y la película no logra aprovechar satisfactoriamente corresponde al dilema jurídico de asignación de responsabilidades derivadas de la falla del UCAV. Frente a la posibilidad de que EDI comience a ejecutar ataques de forma arbitraria a lo largo del mundo ¿Quién sería el responsable de ello? ¿Es EDI? ¿Es su programador, el Dr. Keith Orbit (Richard Roxburgh)? ¿Es el Comandante Cummings? que da la orden de utilizarlo en las misiones, ¿Es el Teniente Gannon? el responsable de su aprendizaje erróneo, ¿es Ray (David Andrews)? el político que se encuentra detrás de la implementación del diseño. Lo cierto es que hasta el día de hoy no existe una respuesta consensuada frente a esa pregunta en el Derecho Internacional.


Desde la primera misión, el Teniente Gannon le manifiesta a su superior “no creo que en una guerra la acción deba separarse de las consecuencias”[9], esta simple frase ilustra la problemática que se erige en torno a la utilización de este tipo de armamento.

Al respecto Sandoval (2018) señala que la utilización de estos sistemas supone una ausencia de derechos por parte del objetivo, en tanto el enemigo carece de derecho a ser enemigo y por ende a ser tratado como prisionero de guerra; y por otro lado señala que existe una falta de responsabilidad por parte del lado atacante, ya que no hay sujeto a quien imputar responsabilidad.


A lo largo de la trama, si bien EDI no parece vulnerar en ningún momento el principio de distinción[10], que apunta a la diferenciación entre objetivos lícitos y aquellos que no lo son, en virtud de proteger a la población civil de ataques indiscriminados; en su segunda misión en Tayikistán vulnera flagrantemente el principio de proporcionalidad[11], cuando ejecuta su ataque a pesar de las consecuencias colaterales en poblaciones civiles aledañas.


El principio de proporcionalidad implica una evaluación previa del daño que pueda causarse a una población no combatiente respecto de la ventaja militar que el ataque pretende conseguir. Este principio conlleva una instancia de decisiones cualitativas que actualmente solo el humano puede tomar, en tanto dependen en gran medida del contexto y de las circunstancias de combate que escapan a la programación de un sistema autónomo.[12]


Desde el punto de vista jurídico, el uso en sí mismo de las armas autónomas no es necesariamente ilegal, sino que los problemas radican en los riesgos derivados de su posibilidad de falla o uso indebido. Esto implica, también, su vulnerabilidad ante ciberataques, por el hecho de que carecen de una capacidad emocional que garantice un “trato humano” o el respeto a la dignidad humana, y, por otra parte, de que todo su funcionamiento depende de la capacidad de discernimiento de su programación. Estos artefactos no comprenden el valor de una vida o el significado de su pérdida, sino que determinan a quién matar a partir de un algoritmo, lejos del control y la verificación del elemento humano.


En definitiva, la película desaprovecha en este sentido el argumento, diluyendo la responsabilidad operatoria del UCAV y simplificando la historia con el suicidio del Comandante Cummings, que decide poner fin a su vida antes que enfrentar el juzgamiento de su oscuro accionar. Sumado a ello, la trama da un giro drástico cuando de una manera incomprensible, en una suerte de evolución programática, EDI comienza a desarrollar una serie de signos de remordimiento que finalmente lo conducen a ayudar al Teniente Gannon a rescatar a la Teniente Wade, quien tras un desperfecto en su avión se había eyectado sobre territorio de Corea del Norte y trataba de escapar sigilosamente del mismo.


CONCLUSIONES

Considero personalmente que la película detenta el mérito de poner en debate la utilización de los sistemas de armas autónomos, destacando el peligro -quizás aún lejano- derivado de que los mismos, algún día adquieran autoconciencia y se conviertan en una amenaza para la humanidad.


La película se destaca por su gran elenco y la calidad de sus efectos gráficos. Sin embargo, sus principales falencias se encuentran en la inconsistencia de su trama, que por momentos se vuelve insulsa y poco original, ya que no logra aprovechar de manera satisfactoria la potencialidad de su argumento.


Sumado a ello, no quedan del todo claro los contradictorios comportamientos de EDI, que pasa en poco tiempo de ser una amenaza para la seguridad mundial a convertirse en aliado del Teniente Gannon y finalmente, luego de desarrollar una suerte de código ético superior, a sacrificarse, estrellándose contra un helicóptero Mi-8 de las fuerzas armadas norcoreanas, para salvar al piloto y a la Teniente Wade.


Por otra parte, tampoco queda claro cómo es que EDI es detectado en su vuelo sobre territorio ruso de manera inmediata, iniciando una persecución por parte de cazas rusos SU-37s, si es que una de sus principales características radica en su avanzada tecnología furtiva.

No obstante, la discontinua y predecible trama no debe nublar el núcleo principal del argumento, referido al cambio revolucionario en la filosofía del combate que representaría la introducción de un sistema de armas a la medida de EDI en los conflictos armados modernos, en tanto, como señala Spindel (2019), esto supondría fundamentalmente:


- Un cambio en la distribución de los recursos humanos y tecnológicos necesarios para participar en la guerra y en las operaciones adyacentes a la misma.


- Un cambio en la velocidad de las operaciones, reduciendo el tiempo de toma de decisiones.


- La disminución cada vez mayor de la presencia humana en el campo de batalla, permitiendo poner el foco en cuestiones más estratégicas en detrimento de las cuestiones de orden táctico.


Si bien algunas organizaciones internacionales como Campaign to Stop Killer Robots bregan por la regulación de este tipo de sistemas partiendo de la necesidad de garantizar un control humano significativo[13] sobre la acción de estos en los conflictos, todo indica que el uso de estas tecnologías se hará cada vez más frecuente, fundamentalmente por las ventajas superiores que las mismas otorgan.


La evolución de la tecnología es de carácter irreversible, pero aún estamos a tiempo para abordar la conveniencia de su uso, en búsqueda de anticiparnos