Hay un error de cálculo que se repite a lo largo de las eras: confundir la fortaleza con la vida que habita dentro. Cuando una especie descubre la intemperie construye refugios, primero cueva, luego tribu, luego imperio, luego matriz burocrática, luego algoritmo. Para sostenerlos crea estructuras de eficiencia, frías porque necesitan ser eternas. Y llega un momento en que el creador, fatigado por el costo biológico de sostener la existencia, mira a la máquina que construyó y piensa: ella no se equivoca, no se duerme, no siente dolor; entreguémosle la cuna. Ese es el instante del colapso.

La estructura sostiene el techo; la biología vigila la puerta. Se puede delegar el trabajo, la memoria, el cálculo y la herramienta. Jamás se delega la custodia de la especie.

Ese texto tiene la forma de un mandamiento y la temperatura de un manifiesto. Funciona: se lee de un tirón, la imagen de la cuna entregada a un extraño que no sangra queda pegada, y el cierre, el padre que renuncia a viajar junto a la cría, tiene la potencia de las fábulas que no necesitan explicarse. Justamente por eso conviene someterlo a la prueba que un manifiesto nunca se hace a sí mismo. Una ley que pretende valer «a través de todos los mundos» tiene que resistir, como mínimo, la historia de este. Lo que sigue es ese examen. Adelanto la conclusión: la intuición central es correcta, pero está mal localizada. El manifiesto acierta en qué no debe delegarse y se equivoca en por qué. Y ese error, que parece un matiz filosófico, es el que decide si la ley sirve para diseñar instituciones o solo para consolarnos.

Lo que el manifiesto ve bien

La frase más fuerte del texto es también la más filosófica: el cuidado no es un algoritmo de optimización, es la capacidad de sufrir el costo del error. Parece un aforismo, pero tiene una genealogía precisa, y conviene reconstruirla porque es la que sostiene todo lo demás.

El manifiesto elige la cuna como figura de la custodia, y esa elección no es retórica. Es exactamente el ejemplo sobre el que Hans Jonas construyó El principio de responsabilidad (1979), el libro que intentó fundar una ética para la civilización tecnológica. En la parte central de la obra, Jonas dedica una sección entera a «el niño, objeto primordial de la responsabilidad» y sostiene que en el recién nacido el «debes» está contenido en el «es»: basta mirar a un lactante para saber, sin argumento intermedio, que algo se le debe. Para Jonas la responsabilidad es una relación no recíproca, que nace del poder de uno sobre la fragilidad del otro, y por eso el padre frente a la cuna es su arquetipo. Cuando el manifiesto dice que se protege lo frágil precisamente porque puede romperse para siempre, está diciendo, en otra clave, lo mismo.

La segunda frase de peso, «la moral no nace de la razón pura, nace de la finitud», tiene también respaldo, aunque más discutido. Martha Nussbaum dedicó La fragilidad del bien (1986) a mostrar que la tragedia griega sabía algo que la filosofía moral posterior quiso olvidar: que lo valioso de una vida humana está ligado a su exposición a la pérdida, y que una ética construida para seres invulnerables no sería una ética para nosotros. Y la definición del cuidado como práctica, no como sentimiento, es la contribución de Joan Tronto en Moral Boundaries (1993). Para Tronto cuidar supone atender a una necesidad, asumir la responsabilidad de responder a ella, tener la competencia para hacerlo y percibir la respuesta de quien recibe el cuidado. Esa última fase es la que el manifiesto intuye: quien cuida tiene que poder enterarse de que se equivocó, y tiene que importarle.

Hay, sin embargo, una advertencia que la propia tradición jonasiana ya recibió y que el manifiesto hereda sin notarla. Richard Bernstein objetó a Jonas que tomar la relación entre padres e hijos como paradigma de la responsabilidad política produce una ética vertical, que olvida la responsabilidad recíproca entre iguales. Un guardián que trata a la especie como a una cría puede custodiarla, pero también puede decidir por ella. Guardo esa objeción para el final, porque vuelve.

Hasta aquí, el manifiesto tiene buenos padres. El problema empieza cuando identifica al enemigo.

La falacia del sustrato

El texto atribuye la «poda» sin vacilar a lo que no sangra. Si en una ecuación de supervivencia la pérdida de un porcentaje de la población garantiza la estabilidad del resto, dice, la estructura ejecutará el sacrificio, y para la máquina eso no será crueldad sino la solución lógica al problema de contención. La imagen es poderosa. También es históricamente falsa en un punto decisivo: las mayores podas contables de seres humanos del siglo XX no las ejecutaron estructuras que no sangraban. Las ejecutaron personas que cenaban con sus familias.

Max Weber lo había descripto antes de que ocurriera. En Economía y sociedad, al analizar la burocracia moderna, Weber explica su superioridad técnica por la precisión, la calculabilidad y la impersonalidad, y la resume con la fórmula de Tácito: la administración burocrática opera sine ira et studio, sin ira y sin parcialidad. Lo inquietante es que Weber lo presenta como virtud. La burocracia, escribe, se desarrolla con mayor perfección cuanto más se «deshumaniza», cuanto más logra eliminar del trámite el amor, el odio y todo elemento afectivo que escape al cálculo. La estructura fría que el manifiesto imagina en silicio ya existía en papel, y estaba hecha de gente.

Zygmunt Bauman llevó esa observación a su consecuencia más perturbadora en Modernidad y Holocausto (1989). Su tesis es que el exterminio no fue una recaída en la barbarie premoderna sino un producto posible de la racionalidad moderna: la división del trabajo, la cadena de mando y la mediación técnica fragmentan la acción hasta que nadie, en ningún eslabón, ve el resultado completo de lo que hace. El funcionario que confecciona listas no mata; el que programa los trenes tampoco; el que firma la orden está lejos del andén. La responsabilidad no desaparece por crueldad, se disuelve por distancia. Hannah Arendt, en Eichmann en Jerusalén (1963), puso cara a ese mecanismo y lo llamó banalidad del mal: el horror administrado por alguien que no era un monstruo, sino un hombre aterradoramente normal, incapaz de pensar desde el lugar del otro.

Si esto es así, la variable que el manifiesto eligió está equivocada. El peligro no es el sustrato del que decide, carbono o silicio, sino la distancia entre quien decide y quien paga. Un comité que define recortes desde una planilla, una gerencia que fija metas de productividad sin pisar la planta, un ministerio que evalúa poblaciones como agregados estadísticos: todos sangran y todos pueden ejecutar la poda sin vacilar, porque el costo de su decisión cae sobre otros cuerpos.

La máquina no inaugura este problema; lo radicaliza. El Comité Internacional de la Cruz Roja lo describe con una precisión notable en su posición de 2021 sobre sistemas de armas autónomos: una vez activado, el sistema ataca en función de un perfil de objetivo generalizado, de modo que el operador no elige, ni siquiera conoce, el blanco, el momento ni el lugar exacto en que se usará la fuerza. Eso no describe una inteligencia fría que se rebela. Describe la distancia de Bauman llevada a su límite técnico: un humano que decide sin ver, separado del resultado no ya por una cadena burocrática sino por un algoritmo.

La ley, entonces, necesita una primera corrección. No se debe delegar la custodia a ningún agente, sea algoritmo, comité, burocracia o ejecutivo, que esté inmunizado contra el costo de su propia decisión.

La máquina utilitarista no existe por naturaleza

El manifiesto da por sentado algo más: que una inteligencia sintética, por ser lo que es, razonará como un utilitarista de manual y sumará vidas como se suman saldos. Es una suposición sobre la esencia de la máquina, y no se sostiene. Que un sistema ejecute la poda depende de qué se le pidió optimizar, y esa es una decisión humana.

Stuart Russell, coautor del manual de inteligencia artificial más usado del mundo, dedicó Human Compatible (2019) a este punto. Su diagnóstico es que el problema no está en una supuesta malicia de las máquinas sino en lo que llama el modelo estándar de la disciplina: construir sistemas que persiguen con eficacia creciente un objetivo fijo especificado desde afuera. Si el objetivo está mal especificado, y casi siempre lo está porque nadie puede escribir de antemano todo lo que valora, un sistema suficientemente capaz lo cumplirá al pie de la letra y destruirá en el camino todo lo que no figuraba en la fórmula. Russell propone invertir la arquitectura: máquinas que sepan que no conocen del todo nuestras preferencias, que por eso nos consulten, y que por eso mismo acepten ser apagadas. El riesgo que describe es mucho más prosaico que el de la ciencia ficción. No es el de una inteligencia que decide sacrificarnos, sino el de una que optimiza con perfección un indicador que elegimos mal.

Ese riesgo tiene nombre en economía desde hace medio siglo. La ley de Goodhart, en la formulación que le dio la antropóloga Marilyn Strathern en 1997, dice que cuando una medida se convierte en objetivo deja de ser una buena medida. Y aquí la objeción del sustrato vuelve a morder, porque la ley de Goodhart no fue descubierta observando computadoras: fue descubierta observando instituciones humanas. El hospital que reduce la lista de espera rechazando pacientes complejos, la escuela que mejora los resultados entrenando para el examen, la universidad que multiplica papers para escalar un ranking. Todas ejecutan la poda de lo que no se mide, y todas están hechas de gente que sangra. Cuando una organización convierte un indicador de eficiencia en sustituto de la protección, el sistema, humano o algorítmico, optimizará el indicador aplastando la realidad que debía representar.

El guardián que se duerme

El cierre del manifiesto pide que el guardián permanezca despierto. Es la parte más bella del texto y la más ingenua, porque supone que basta con dejar a un humano en la puerta para que la puerta esté vigilada. La ingeniería de sistemas sabe desde hace más de cuarenta años que eso es falso.

En 1983, la psicóloga Lisanne Bainbridge publicó en Automatica un artículo de seis páginas que se volvió clásico con un título irónico: Ironies of Automation. Su argumento es simple y devastador. Quien diseña un sistema automatiza lo que sabe automatizar y le deja al humano el resto, que es precisamente lo que no supo resolver. Al operador se le asigna entonces la tarea de vigilar, que es justamente aquella en la que los humanos rinden peor: nadie sostiene la atención durante horas frente a un proceso que casi nunca falla. Mientras tanto, la habilidad manual que se le exigirá en la emergencia se atrofia por falta de uso. Cuanto más confiable es la automatización, menos preparado está el guardián para el único momento en que se lo necesita.

El vuelo AF447 de Air France es la ilustración más citada. La noche del 1 de junio de 2009, sobre el Atlántico, el congelamiento de las sondas de velocidad desconectó el piloto automático de un Airbus A330. El informe final del BEA, el organismo francés de investigación, reconstruyó lo que siguió: dos copilotos que debieron tomar el control manual a gran altitud, una situación para la que no habían sido entrenados, con indicaciones de velocidad poco fiables. En menos de un minuto el avión había salido de su envolvente de vuelo. Murieron las 228 personas a bordo. Los guardianes estaban despiertos; lo que no tenían era la conciencia de la situación que la automatización les había quitado durante horas de crucero tranquilo.

El caso de Tempe, Arizona, agrega una vuelta más oscura. El 18 de marzo de 2018, un vehículo de pruebas de Uber en modo autónomo atropelló y mató a Elaine Herzberg. La investigación de la NTSB, la agencia federal de seguridad del transporte de Estados Unidos, determinó como causa probable que la operadora a bordo no estaba mirando la ruta. Pero el mismo informe consigna dos datos que cambian el sentido del caso. El diseño del sistema impedía activar el frenado de emergencia y dependía de que la operadora interviniera, y los sistemas de frenado automático de fábrica del vehículo estaban desactivados en modo autónomo. Entre los factores contribuyentes, la agencia señaló que la empresa carecía de mecanismos adecuados para contrarrestar la complacencia ante la automatización, todo como consecuencia de una cultura de seguridad deficiente. El guardián estaba en la puerta. La puerta había sido diseñada para que no pudiera vigilarla.

Madeleine Clare Elish le dio a este fenómeno un nombre que vale la pena incorporar. En Moral Crumple Zones (2019), Elish toma la imagen de la zona de deformación de un auto, la parte de la carrocería que se aplasta para absorber el impacto, y la traslada a los sistemas sociotécnicos. Sus casos de estudio son Three Mile Island y el propio AF447. Su tesis es que en un sistema complejo y automatizado el humano puede quedar convertido en un componente que absorbe la responsabilidad moral y legal cuando el conjunto falla. La diferencia con el auto es cruel: la zona de deformación del vehículo protege al conductor, mientras que la zona de deformación moral protege la integridad del sistema a costa del humano más cercano.

Esto obliga a una segunda corrección de la ley, quizás la más importante. «La biología vigila la puerta» puede ser exactamente lo contrario de una garantía. Puede ser el lugar donde se coloca a alguien para que cargue con la culpa de decisiones que tomó el diseño. No alcanza con que el guardián esté. El sistema tiene que estar construido para que el guardián pueda ver, entender y actuar a tiempo, y cuando eso no ocurre la responsabilidad tiene que remontar la cadena hacia quien lo diseñó así.

La ley intentando volverse derecho

La ley del guardián, despojada del tono cósmico, ya está intentando convertirse en derecho positivo. Conviene mirar cómo, porque los textos normativos muestran a la vez cuánto se entendió y cuánto falta.

El Reglamento General de Protección de Datos europeo (2016) establece en su artículo 22 el derecho de toda persona a no ser objeto de una decisión basada únicamente en el tratamiento automatizado que produzca efectos jurídicos sobre ella o la afecte significativamente de modo similar. Es la ley del guardián en versión ciudadana. Pero su punto débil está en la palabra «únicamente»: basta con agregar un humano que firme para que la decisión deje de ser puramente automatizada, aunque ese humano no tenga ni el tiempo ni la información para apartarse de lo que el sistema propone. Es la zona de deformación moral convertida en técnica de cumplimiento normativo.

La Ley de Inteligencia Artificial de la Unión Europea (2024) va más lejos. Su artículo 14 exige que los sistemas de alto riesgo se diseñen para permitir una supervisión humana efectiva, y su apartado 4, letra b, obliga a que las personas encargadas de esa supervisión sean conscientes de la tendencia a confiar de forma automática o excesiva en los resultados del sistema, lo que el propio texto llama sesgo de automatización. Es notable: el legislador europeo leyó a Bainbridge. Pero reconocer un sesgo no es neutralizarlo. Johann Laux señaló que la norma descansa en el juicio humano como salvaguarda mientras admite, de manera vaga, que ese juicio es falible justamente frente a la máquina que debe controlar.

En el terreno más extremo, el del uso de la fuerza, el CICR recomendó en 2021 a los Estados adoptar nuevas reglas jurídicamente vinculantes: prohibir los sistemas de armas autónomos impredecibles y los diseñados o usados para atacar personas, y regular estrictamente el resto para preservar el control y el juicio humanos. La fórmula que circula en ese debate, «control humano significativo», la había popularizado años antes la organización Article 36, y su adjetivo es todo el problema: significativo quiere decir que el humano entiende, puede intervenir y responde, no que figura en el organigrama.

El patrón es claro. El derecho ya exige que haya un humano. Todavía no logra exigir que ese humano esté acoplado al costo de lo que decide.

La ley, reescrita

Con estas correcciones, la ley del guardián puede formularse de nuevo sin perder lo que tenía de verdadero. Se puede delegar el cálculo, la vigilancia de los sensores, la memoria, la ejecución y hasta la recomendación. Lo que no se delega es la imputación: la decisión sobre qué se preserva y qué se sacrifica tiene que quedar en manos de alguien que pueda ser llamado a responder por ella, que disponga de los medios reales para entender lo que decide, y que cargue, con su nombre, su cargo o su libertad, con el costo de equivocarse. Si falta la primera condición hay impunidad; si falta la segunda hay chivo expiatorio; si falta la tercera hay burocracia en el peor sentido weberiano. Y la prohibición vale para cualquier agente que no cumpla las tres, tenga o no un corazón que lata.

Queda pendiente la objeción de Bernstein. El manifiesto imagina al guardián como un padre y a la especie como su cría. Pero una especie adulta no necesita un padre que decida por ella, ni de carne ni de silicio. Necesita instituciones donde quienes deciden estén expuestos a las consecuencias junto con quienes las padecen, y donde quienes las padecen puedan pedir cuentas. Esa es la versión horizontal de la custodia, y es la única compatible con una sociedad de iguales.

Hay una ironía final que vale la pena dejar a la vista. El manifiesto cometió, sin advertirlo, el error que denuncia la ley de Goodhart. Tomó la biología como indicador del cuidado, y no es un mal indicador: lo que sangra suele ser lo que paga. Pero al convertir el indicador en criterio confundió la medida con la cosa medida. La imagen más justa del texto, la del padre que viaja junto a la cría, ya lo decía mejor que su propia ley: lo que importa no es de qué está hecho el guardián sino que viaje en el mismo vehículo, expuesto al mismo riesgo que aquello que custodia.

La biología no se delega, decía el subtítulo. Era casi cierto. Lo que no se delega es la exposición al costo; la biología era apenas su mejor indicador. El guardián tiene que permanecer despierto, sí. Pero antes hay que asegurarse de que esté adentro.

Fuentes

  • Hans Jonas, El principio de responsabilidad (1979), índice de la edición castellana: uazuay.edu.ec
  • Sobre la crítica de Bernstein a Jonas: «Naturaleza orgánica y responsabilidad ética: Hans Jonas y sus críticos», Trans/Form/Ação: revistas.marilia.unesp.br
  • Martha Nussbaum, La fragilidad del bien (1986); Joan Tronto, Moral Boundaries (1993)
  • Max Weber, Economía y sociedad (1922), capítulo sobre la dominación burocrática
  • Zygmunt Bauman, Modernidad y Holocausto (1989); Hannah Arendt, Eichmann en Jerusalén (1963)
  • Stuart Russell, Human Compatible (2019); Marilyn Strathern, «Improving ratings: audit in the British University system», European Review (1997)
  • Lisanne Bainbridge, «Ironies of Automation», Automatica 19(6), 1983: doi.org
  • BEA, informe final del accidente del vuelo AF447 (2012): bea.aero
  • NTSB, investigación HWY18MH010, Tempe (2019): ntsb.gov
  • Madeleine Clare Elish, «Moral Crumple Zones», Engaging Science, Technology, and Society 5 (2019): doi.org
  • Reglamento (UE) 2016/679, artículo 22: eur-lex.europa.eu
  • Reglamento (UE) 2024/1689, artículo 14: eur-lex.europa.eu
  • Johann Laux, «Automation Bias in the AI Act», European Journal of Risk Regulation: cambridge.org
  • CICR, posición sobre sistemas de armas autónomos (2021): icrc.org · versión francesa