Por Leonardo Agustín Motteta, miembro del Observatorio de Asuntos Humanitarios del Centro de Estudios de Política Internacional
Introducción
Las transformaciones que se dieron junto al avance tecnológico de las últimas décadas, llevaron a desarrollos militares que afectan las perspectivas relacionadas con el impacto humanitario de los mismos. Una de las tecnologías que generó críticas y discusiones es la de los Sistemas de Armas Autónomas Letales (SAAL), impulsado por los avances en tecnologías sobre inteligencia artificial. El uso de robots con capacidad para decidir sobre vidas humanas genera controversias en torno a las incompatibilidades que puede originar esta situación con los Derechos Humanos más básicos. La interrogante que se nos presenta es entonces, ¿Puede permitirse el uso de SAAL o esta tecnología vulnera no solamente al Derecho, sino también la misma dignidad humana?
SAAL: Autonomía y Control
Las definiciones sobre el SAAL coinciden en señalar la importancia del carácter autónomo del mismo. De esta manera, podemos entender a este tipo de armamento como armas “que no necesitan de la intervención humana para seleccionar y atacar blancos” (Calvo Perez, 2020, p.459). En este mismo sentido, puede decirse que estos sistemas conforme se desarrollan adquieren mayores capacidades para tomar decisiones sobre el uso de fuerza letal, lo que les permitiría actuar de forma totalmente autónoma (Docherty, 2012).
Human Rights Watch (Docherty, 2012) propone una diferenciación para dar cuenta del diferente grado de autonomía. En primer lugar, se encuentran las armas donde el robot ejecuta una acción controlada por humanos (in-the-Loop); en segundo lugar, aquellas en las que, si bien el robot decide, existe un mecanismo para que el operador cancele esa capacidad (on-the-Loop); y finalmente aparecen los sistemas que son totalmente autónomos y el humano no tiene ningún control (out-of-the-Loop). Estas últimas, si bien no existen en la actualidad, son posibles y muchos ejércitos de todo el mundo aprueban su desarrollo.
Lo anterior nos lleva a pensar cómo actúan los robots y en qué se basa su comportamiento. La inteligencia artificial puede entenderse desde dos perspectivas complementarias: Una enfocada en el comportamiento programado, y otra en la capacidad del robot de imitar acciones humanas y reproducirlas (Boufous, Escalle, De Swarte, 2019). Esta última característica, se desarrolló en gran medida gracias a la tecnología de machine learning la cual hace referencia a la capacidad de una inteligencia artificial de incorporar procesos de aprendizaje. Pero cuando hablamos de la manera en que la máquina aprende es necesario al mismo tiempo establecer una diferenciación. Teniendo en cuenta el mecanismo por el cual se efectúa este proceso, puede entenderse a la inteligencia artificial como débil o fuerte: Se considera débil cuando el comportamiento responde a ciertas tareas preestablecidas, mientras que una inteligencia artificial fuerte refiere a aquella que podría aprender sin la necesidad de ayuda de un programador ya que intenta copiar los estados mentales humanos (Boufous, Escalle, De Swarte, 2019).
El grado de autonomía que los robots lograrán en un futuro cercano, puede llevar a que estos decidan por sí mismos sin tomar en consideración un input humano. Pero, además, si tenemos en cuenta las características de la inteligencia artificial fuerte, existiría el problema de que las personas no podrían saber el porqué del comportamiento del robot; la inteligencia artificial, dotada del poder de realizar sus propios razonamientos, podría actuar de una forma totalmente diferente a la esperada y ningún agente externo tendría certezas sobre el accionar de la máquina (Boufous, Escalle, De Swarte, 2019,). Podría existir de forma interna al sistema autónomo, una especie de “razonamiento robot” que sea totalmente divergente a su programación original.
Los sistemas existentes actualmente que, siendo autónomos, tienen cierto control por parte de los operadores y programadores, también generan interrogantes sobre su accionar. Principalmente se pone en discusión la capacidad para limitar las decisiones tomadas por el armamento autónomo (Docherty, 2012). Se considera que un sistema autónomo tendría que tener en cuenta dos aspectos para que sea controlado de manera significativa: Que responda a los parámetros morales de quienes lo programaron, y que exista la posibilidad de rastrear sus decisiones a por lo menos un operador humano (Santoni de Sio, Van den Hoven, 2018). En este sentido, la propuesta de la campaña Stop Killer Robots considera tres componentes necesarios para el control: de toma de decisiones, tecnológicos y operacionales (Docherty, 2019). Por decisión se entiende que el operador debe poseer “una comprensión del entorno operacional; una comprensión de cómo funciona el sistema, incluido lo que podría identificar como objetivo.” (Docherty, 2019, p.4). Los componentes tecnológicos y operacionales por su parte, refieren a las tecnologías que permitan un mayor control y a la limitación de áreas y momentos en donde se utilizan este tipo de sistemas (Docherty, 2019).
Otros de los temas que se discute relacionado al control de los SAAL es la responsabilidad. Es decir, si existiera un armamento totalmente autónomo o si el mismo tuviera un control poco efectivo, la posibilidad de señalar un responsable estaría sumamente comprometida. A esto se lo ha denominado “responsibility-gap”: Si el operador no puede determinarse culpable por no tener un control efectivo del robot, entonces a nadie se le puede señalar como responsable de la acción (Matthias, 2004). Esta situación lleva además a un problema con la accountability, es decir, a la capacidad de las personas para controlar a sus gobiernos, ya que el peso de una decisión no recaería en algún actor en especial (Santoni de Sio, Van den Hoven, 2018).
Sistemas de armas autónomas letales y Derechos Humanos
Teniendo en consideración los problemas que se presentan en torno a los SAAL, es evidente que debe analizarse como esta tecnología colisiona con los derechos humanos. Ya en 2018 la Organización de Naciones Unidas a través de su Secretario General António Guterres, expresó que los SAAL deben ser prohibidas por su incompatibilidad con los Derechos Humanos (António Guterres, 2018), y muchos investigadores concuerdan que las armas totalmente automatizadas representan algo difícil de conciliar con lo humanitario (Espada, Hortal, 2013) (Farinella, 2021).
El problema principal que se presenta en torno al conflicto entre las SAAL y los derechos humanos, es la dificultad que existe para introducir conceptos éticos en el robot. Si bien se propuso la posibilidad de que el comportamiento de los robots pueda ser ético (Arkin, 2009), la mayoría de las investigaciones, información y tecnología disponibles parecen demostrar lo contrario. Separar civiles y militares, aplicar el principio de proporcionalidad o meramente utilizar el sentido común ante una situación determinada, son acciones que en la actualidad son muy difíciles de programar en un robot.
Pero en el caso en que pudiésemos ingresar esta información en el armamento, el problema persiste por los posibles errores en las bases de datos que recibe y crea el robot. Los sistemas autónomos actuales necesitan que los elementos que obtienen de su ambiente y que utilizan para tomar las decisiones, coincidan con aquellos con los que fue programado (Holland Michel, 2021). El carácter de los problemas que surjan por las discrepancias entre lo que el robot aprendió durante el entrenamiento y su funcionamiento efectivo en un ambiente hostil, es complejo y por esto, poco predecible (Holland Michel, 2021). De esta manera, las dificultades que impone la información, profundizarían los efectos sobre la autonomía del armamento letal, y también los referidos a la capacidad de control humano.
Farinella (2021), observa cómo los principios del Derecho Internacional Humanitario (DIH) se ven vulnerados con los SAAL. Según su análisis, los armamentos autónomos “no son aptos para cumplir los estándares de distinción, proporcionalidad y precaución, necesarios para ser considerados legales desde la perspectiva del DIH” (Farinella, 2021, p.512). Espada y Hortal (2013) llegan a una conclusión similar, resaltando la necesidad de controlar la evolución de la tecnología sobre armas autónomas y generar un marco jurídico que regule este tipo de sistemas. En la actualidad entonces, la aplicación de robots automatizados en mayor o menor medida no puede considerarse una acción que concuerde con los principios del derecho internacional.
Es importante resaltar que esta tecnología, aunque aparece principalmente como aplicada al campo militar, tiene aplicaciones posibles en poblaciones civiles. Esto puede observarse en el ejemplo del ejército de Israel, que utilizó robots semiautónomos para represión de civiles palestinos a través de gas lacrimógeno. Este tipo de usos profundizan los problemas relacionados con lo humanitario, ya que el robot actúa con la fuerza directamente sobre población civil. Si ocurriera un error de algún tipo en la programación, información o control del robot esto podría llevar a un uso de la fuerza desmedido, por lo que la decisión de utilizarlo en manifestaciones es un dato alarmante.
Los SAAL y la reproducción de la violencia de género
Una de las preocupaciones principales en torno a lo humanitario, surge cuando nos preguntamos sobre la posibilidad de que los robots ejerzan violencia de género. Si bien se ha argumentado que los robots no tienen la capacidad para llevar adelante actos de violencia como por ejemplo violaciones, un análisis más preciso revela que no solamente los sistemas autónomos podrían reproducir este tipo de violencia, sino que además es posible que la amplifiquen.
Sandvik y Lohne (2015) observan que las teorías que argumentan que los robots son menos violentos que los humanos, se piensan a través de conceptos que no logran explicar satisfactoriamente los diferentes fenómenos. Carpenter (2014) expresa que la concepción de que la violación es un acto relacionado con el impulso sexual masculino, y no una herramienta estratégica de guerra que se aplica sobre las poblaciones para disciplinar, no permite admitir que los sistemas autónomos pueden llevar adelante violaciones. Si tenemos en cuenta que la mayoría de las violaciones se da en el marco de órdenes directas por parte del Estado, el uso de robots no solamente no reduciría el número de las mismas, sino que la incapacidad del sistema autónomo de entender criterios éticos y poseer empatía llevaría a un aumento de casos (Sandvik y Lohne, 2015) (Carpenter, 2014).
Distintas teorizaciones consideran que las consecuencias del uso de sistemas autónomos pueden ser aún más profundas. Estos sistemas, al operar con información sobre perfiles de potenciales objetivos, se encuentran influidos por datos sesgados y parciales programados en ellos (Sharkey, 2020). Esta situación llevaría a que las personas identificadas como peligrosas o fuera de la norma sean más propensas a ser elegidas como objetivos, generando así desigualdades entre géneros (Sharkey, 2020).
Los inputs de información que el robot recibe tanto del entorno como de sus operadores humanos, no están exentos de ninguna manera de la posibilidad de reproducir violencia de género. De esta manera, a través de los robots sería más efectiva la reproducción de estereotipos de género, como relacionar a lo masculino con la fuerza y a lo femenino con la debilidad. En este sentido, es correcto decir que “este tipo de sistemas puede contribuir a exacerbar nociones de masculinidad militarizada” (Sharkey, 2020, párr.9).
En términos de violencia de género, es vital entender que el robot no se encuentra exento de su entorno, por lo cual mientras existan inequidades y situaciones de violencia, el desarrollo de sistemas autónomos lejos de terminar con las mismas las profundizará. En el contexto actual, la implementación de este tipo de tecnologías significa un paso atrás para las luchas que han obtenido grandes victorias en los últimos años.
Conclusiones
En este breve trabajo intenté responder los interrogantes que traen los SAAL en torno a su relación con los Derechos Humanos. Es posible concluir que el desarrollo de estas tecnologías tiene un impacto profundamente negativo en lo humanitario por cuatro razones:
1 - La autonomía del robot conlleva generar procesos de aprendizajes que le son propios y que pueden diferenciarse de la forma del raciocinio humano.
2 - El control efectivo que ejercen los operadores es limitado, pudiendo existir problemas que escapan a su dominio (como, por ejemplo, conflictos generados por las bases de datos).
3 - La imposibilidad actual de introducir valores éticos en el robot y la posibilidad de que entre en conflicto la programación del mismo, con la información obtenida en los ambientes hostiles en donde opera.
4 - Los sistemas autónomos profundizan las inequidades de género y el ejercicio de violencia sobre mujeres y disidencias.
Considero importante que se avance en definiciones de carácter internacional, que pongan la lupa sobre esta problemática y que permitan generar marcos internacionales que regulen el avance de esta tecnología. Se vuelve necesario discutir esta temática con urgencia, ya que no representa una posibilidad futura, sino un desarrollo ya presente en los ejércitos más avanzados del mundo, que pone en peligro los más básicos derechos humanos.
Bibliografía Consultada
António Guterres (5 de noviembre de 2018). Las armas autónomas deben ser prohibidas en el derecho internacional. Noticias ONUArkin, R. (2009). Governing lethal behavior in autonomous robots. CRC Press.
Carpenter, C. (14 de mayo de 2014). “Robot Soldiers Would Never Rape”: Un-packing the Myth of the Humanitarian War-Bot. Duck of Minerva
De Swarte, T., Boufous, O., & Escalle, P. (2019). Artificial intelligence, ethics and human values: the cases of military drones and companion robots. Artificial Life and Robotics, 24(3), 291-296.
Docherty, B. (2012). Losing humanity: The case against killer robots. Human Rights Watch.
Docherty, B. (2019). Elementos clave de un tratado sobre armas totalmente autónomas. Campaign to Stop Killer Robots.
Espada, C. G., & Hortal, M. J. C. (2013). Sistemas de armas autónomas, drones y Derecho internacional. Revista del Instituto Español de Estudios Estratégicos, (2), 5.
Farinella, F. (2021). Sistemas de armas autónomos y principios del derecho internacional humanitario. REVISTA QUAESTIO IURIS, 14(02), 504-514.
Holland Michel, A. (2021). Known Unknowns: Data Issues and Military Autonomous Systems. Geneva: United Nations Institute for Disarmament Research.
Matthias A (2004) The responsibility gap in ascribing responsi-bility for the actions of automata. Ethics and Information Technology 6(3): 175–183.
Pérez, J. L. C. (2020). Debate internacional en torno a los sistemas de armas autónomos letales. Consideraciones tecnológicas, jurídicas y éticas. Revista general de marina, 278(3), 457-469.
Sandvik, Lohne (5 de agosto de 2015) Lethal Autonomous Weapons: Killing the ‘Robots-don’t-Rape’ Argument. IntLawGrrls
Santoni de Sio, F., & Van den Hoven, J. (2018). Meaningful human control over autonomous systems: A philosophical account. Frontiers in Robotics and AI, 5, 15.
Sharkey, N. (8 de marzo de 2020). A Feminist Future Begins By Banning Killer Robots. Forbes
Valoramos la pluralidad de opiniones. Los artículos publicados por el CENTRO DE POLÍTICA INTERNACIONAL no necesariamente representan las opiniones de todxs lxs miebrxs