Ética de la tecnología: quién programa nuestra moral

En 2016, un auto sin conductor fabricado por Tesla atropelló y mató a un hombre en Florida. El sistema de piloto automático confundió el lateral blanco de un camión con el cielo despejado. Tragedia técnica, sí. Pero lo que pasó después fue filosóficamente más interesante que el accidente en sí: los ingenieros de Tesla tuvieron que sentarse en una sala y responder una pregunta que los filósofos llevan dos mil años discutiendo. La pregunta era simple de formular y brutal de responder: si el auto no puede frenar a tiempo, ¿a quién mata? ¿Al peatón o al pasajero? ¿Al anciano o al chico? ¿A uno o a varios?

Esa sala de ingenieros en Silicon Valley se convirtió, sin que nadie lo hubiera planeado, en el tribunal moral más influyente del siglo veintiuno.

La ética sale de los libros y entra en el código

Comencemos por el principio, porque si no entendemos de dónde viene el problema, no vamos a entender la magnitud de lo que está pasando hoy.

La ética, como disciplina filosófica, lleva siglos tratando de responder una sola pregunta que parece simple pero es un laberinto: ¿qué está bien hacer? Los griegos la llamaban la pregunta por el bien vivir. Aristóteles decía que había que buscar la virtud. Kant, siglos después, propuso que existían reglas morales universales que uno podía deducir con la razón, sin importar las consecuencias. Y los utilitaristas, con Jeremy Bentham y John Stuart Mill a la cabeza, argumentaban exactamente lo contrario: que lo que importa son las consecuencias, que lo correcto es lo que produce la mayor felicidad para la mayor cantidad de gente.

Durante mucho tiempo estas discusiones vivían en los libros, en las aulas, en los debates entre filósofos que tomaban demasiado café y se peleaban por abstracciones. Pero algo cambió. Y cambió de golpe.

Cuando empezamos a construir máquinas capaces de tomar decisiones, las preguntas filosóficas salieron de los libros y aterrizaron en el código. Porque una máquina que toma decisiones necesita criterios. Necesita saber qué priorizar. Y esos criterios, los ponga quien los ponga, son juicios morales disfrazados de parámetros técnicos.

Ahí está el núcleo del asunto: la tecnología no es neutral. Nunca lo fue.

Norbert Wiener: el matemático que vio venir todo esto

Hay un señor llamado Norbert Wiener que merece mucho más reconocimiento del que tiene. Era matemático, prodigio desde chico, empezó la universidad a los once años porque su padre, que era profesor, no sabía muy bien qué hacer con él. En los años cuarenta, Wiener desarrolló algo que llamó cibernética, que básicamente era el estudio de los sistemas de control y comunicación, tanto en animales como en máquinas. Era la teoría detrás de cómo los sistemas se autorregulan, cómo procesan información y toman decisiones.

Pero lo que hace a Wiener especialmente relevante para esta conversación es lo que pasó después. Porque Wiener, que había ayudado a diseñar sistemas de control para armamento durante la Segunda Guerra Mundial, se sentó a pensar en las implicancias de lo que había hecho. Y en 1950 publicó un libro titulado "El uso humano de los seres humanos". En ese libro, Wiener advertía algo que en ese momento sonaba a ciencia ficción y hoy suena a crónica periodística: que si construíamos máquinas para automatizar decisiones sin pensar cuidadosamente en los valores que codificábamos en esas máquinas, nos íbamos a arrepentir.

Wiener decía que la automatización podía ser una bendición o una maldición, dependiendo de quién controlara las máquinas y para qué fines. Y que si poníamos las máquinas a trabajar para objetivos equivocados, íbamos a lograr esos objetivos equivocados con una eficiencia espantosa.

Ese tipo escribió eso en 1950. Hace setenta y seis años.

El problema del tranvía se vuelve real

Volvamos al problema del auto sin conductor, porque es la manera más concreta de entender de qué estamos hablando.

En filosofía hay un experimento mental que se llama el problema del tranvía, que probablemente hayas leído en algún momento. La idea básica es esta: hay un tranvía sin frenos que va a matar a cinco personas atadas a las vías. Vos estás parado al lado de una palanca. Si la activás, el tranvía se desvía, pero mata a una sola persona que está en el otro ramal. ¿Qué hacés?

El problema fue inventado por la filósofa Philippa Foot en 1967. La idea no era darte una respuesta, sino mostrarte que la moral es complicada, que los instintos se contradicen, que la teoría y la práctica chocan.

Ahora bien: cuando el problema del tranvía vivía en los libros de filosofía, era un ejercicio intelectual. Podías tomar café, pensar, discutir, llegar a una conclusión provisoria y seguir con tu vida. Pero cuando ese mismo problema tiene que resolverlo el algoritmo de un auto sin conductor en una fracción de segundo, alguien tuvo que tomar una decisión antes. Alguien tuvo que escribir el código. Y ese código es, literalmente, la moralidad del auto.

El MIT llevó adelante un experimento interesante que se llamó "La máquina moral". Publicaron una plataforma en internet donde millones de personas de todo el mundo podían responder distintas versiones del problema del tranvía aplicadas a autos autónomos. Treinta y nueve millones de respuestas de más de doscientos países. Y lo que encontraron fue revelador: las preferencias morales varían muchísimo según la cultura. En algunos países se priorizaba salvar a los jóvenes sobre los viejos. En otros, salvar a más personas sin importar quiénes eran. En algunos contextos había una preferencia clara por salvar peatones sobre pasajeros. En otros, al revés.

¿Y quién decide cuál de todas esas tradiciones morales se convierte en el algoritmo que se instala en los autos que circulan por el mundo entero? Básicamente, los ingenieros de un puñado de empresas ubicadas en California. Que por más bien intencionados que estén, tienen su propia cultura, su propio trasfondo, sus propios puntos ciegos.

Eso es lo que significa decir que la tecnología no es neutral.

Cuando los algoritmos heredan la discriminación del pasado

Pero el auto sin conductor es solo el ejemplo más dramático, el más fácil de visualizar porque involucra vida y muerte. El problema es mucho más cotidiano y mucho más silencioso que eso.

Pensá en el sistema que usa un banco para decidir si te da o no un crédito. Antes, ese proceso lo hacía un empleado que te miraba a los ojos, leía tu historia, evaluaba factores que no estaban en los papeles. Ahora lo hace un algoritmo. El algoritmo toma decisiones basadas en datos históricos. Y acá viene el problema: si históricamente los bancos le negaron créditos a ciertos grupos de personas por razones discriminatorias, ¿qué pasa cuando entrenás un algoritmo con esos datos históricos? Que el algoritmo aprende a discriminar. Automáticamente. Sin que nadie lo haya programado explícitamente para hacerlo.

Esto no es teoría. Sucedió. En 2019 se reveló que el algoritmo de Apple Card, la tarjeta de crédito de Apple, le daba límites de crédito significativamente más bajos a las mujeres que a los hombres con el mismo perfil financiero. El marido de la reconocida emprendedora de tecnología Rhonda Abrams descubrió que tenía un límite veinte veces mayor que el de ella, a pesar de que compartían activos. La empresa que desarrolló el algoritmo era Goldman Sachs, y negó que hubiera discriminación intencional. Probablemente era verdad. No era intencional. Era estructural. Era el pasado codificado en matemáticas.

Y ahí está otro de los problemas filosóficos centrales: ¿quién es responsable cuando la máquina discrimina? ¿Los programadores que escribieron el código? ¿Los ejecutivos que decidieron qué datos usar para entrenarla? ¿La empresa? ¿El sistema económico que produjo los datos históricos sesgados? Es una pregunta de responsabilidad moral, y es difícil de responder.

La trampa de muchas manos: cuando nadie se hace cargo

En filosofía, cuando hablamos de responsabilidad moral, estamos hablando de algo muy específico. Para que alguien sea moralmente responsable de una acción, los filósofos suelen exigir dos condiciones: que la persona haya actuado libremente, es decir, que hubiera podido hacer otra cosa, y que haya actuado con conocimiento, es decir, que supiera lo que estaba haciendo.

Las máquinas no actúan libremente. No tienen intenciones. No saben lo que hacen en ningún sentido significativo. Entonces, ¿quién es el responsable? ¿El que las diseña? ¿El que las despliega? ¿El que decide usarlas?

Hay un filósofo que se llama Luciano Floridi que trabaja mucho esta área, filósofo italiano radicado en Oxford. Él propone hablar de "agencia moral distribuida", que básicamente quiere decir que en sistemas tecnológicos complejos la responsabilidad no está en un solo punto sino distribuida entre múltiples actores. Lo cual suena bien en teoría, pero en la práctica puede convertirse en una manera de que nadie se haga cargo de nada.

Ese problema tiene un nombre técnico en ética: la trampa de muchas manos. Cuando muchas personas contribuyen a un resultado, cada una puede señalar a las demás y decir "la culpa no fue mía, yo solo hice mi parte". Es lo que pasó en muchos escándalos corporativos. Es lo que pasa con la crisis climática. Y es lo que empieza a pasar con la tecnología algorítmica.

El experimento de Facebook y el consentimiento

Hablemos de otro caso concreto, porque es importante que esto quede bien claro.

En 2014, Facebook realizó un experimento con casi setecientos mil usuarios. Sin avisarles, modificó el algoritmo que controlaba qué publicaciones aparecían en sus feeds de noticias. A un grupo le mostraba más publicaciones con contenido emocional positivo. Al otro, más contenido negativo. Después midieron el tono emocional de las publicaciones que hacían esos usuarios. El resultado fue que las personas a las que se les mostraba más contenido negativo publicaban cosas más negativas, y viceversa. Es decir, Facebook comprobó que podía influir en el estado de ánimo de sus usuarios manipulando lo que les mostraba.

Cuando esto se hizo público, hubo escándalo. Pero el punto filosófico que vale marcar es otro: ese experimento se realizó sin consentimiento informado. Los usuarios no sabían que eran sujetos de un experimento. Y en el campo de la ética de la investigación, el consentimiento informado es un principio fundamental que surgió, entre otras cosas, como respuesta a los horrores de los experimentos médicos nazis documentados en los Juicios de Núremberg.

¿Cuándo cruzamos esa línea con la tecnología? ¿En qué momento normalizamos que las plataformas experimenten con nuestra psicología sin avisarnos? ¿Y quién decidió que eso era aceptable?

La respuesta, en el caso de Facebook, fue básicamente que los términos y condiciones lo permitían. Que en la práctica es como decir que es legal porque nadie los lee. Es filosóficamente inaceptable aunque jurídicamente hábil.

¿Puede haber una ética de la inteligencia artificial?

Quiero ahora abordar una pregunta más profunda: ¿puede haber una ética de la inteligencia artificial? ¿Tiene sentido hablar de máquinas que actúan moralmente?

Isaac Asimov, el escritor de ciencia ficción, propuso en los años cuarenta sus famosas tres leyes de la robótica. Básicamente: los robots no pueden dañar a los humanos, tienen que obedecer órdenes humanas a menos que eso viole la primera ley, y tienen que protegerse a sí mismos a menos que eso viole las anteriores. Asimov era muy inteligente: una parte importante de sus cuentos mostraba precisamente que esas leyes eran insuficientes, que en situaciones complejas podían producir resultados absurdos o peligrosos. Era su manera de decir: no, no es tan simple.

Hoy, ochenta años después, los investigadores de inteligencia artificial están tratando de resolver exactamente lo mismo que Asimov planteaba en sus cuentos. El campo se llama "alineamiento de valores", y básicamente es la investigación de cómo hacer que los sistemas de inteligencia artificial actúen de acuerdo con los valores humanos.

El problema es que los valores humanos son, para empezar, contradictorios, contextuales y culturalmente variables. Cuando una empresa como OpenAI o Google dice que va a asegurarse de que su inteligencia artificial tenga "valores humanos", la pregunta inmediata es: ¿qué valores? ¿De qué humanos? ¿Los de California? ¿Los de todo el mundo? ¿Hay consenso?

No lo hay. Y eso no es un detalle técnico que se resuelve con más ingeniería. Es un problema político y filosófico de primer orden.

Timnit Gebru y el poder de las grandes tecnológicas

Acá aparece una figura que vale la pena mencionar: Timnit Gebru. Ella es una investigadora de origen etíope que trabajó en el equipo de ética de inteligencia artificial de Google. Es una de las personas más importantes del campo. En 2020, Gebru y sus colegas publicaron un artículo académico que señalaba sesgos problemáticos en los modelos de lenguaje de gran escala, básicamente la tecnología que después se convirtió en ChatGPT y modelos similares. Google la despidió, en circunstancias que ella describió como represalia por esa investigación. El escándalo fue enorme en el mundo tecnológico.

Pero el punto filosófico es este: cuando las personas que señalan los problemas éticos dentro de una empresa son silenciadas o removidas, ¿qué mecanismo queda para que esos problemas se corrijan? Esto conecta con una tradición larga en filosofía política sobre cómo las instituciones pueden estructurarse para autocorregirse. Madison escribía sobre esto en El Federalista, Montesquieu hablaba de la separación de poderes. La idea era que ninguna parte del sistema tuviera tanto poder que pudiera ignorar a las demás.

El problema con las grandes empresas tecnológicas es que concentran un poder extraordinario con supervisión externa muy limitada. Están en algún punto entre una empresa privada, un servicio público y una infraestructura nacional crítica, pero las regulaciones que aplican son, en muchos países, las de una empresa privada común y corriente.

La opacidad algorítmica: decisiones que no se pueden explicar

Hay un concepto que resulta clave: la opacidad algorítmica. Los sistemas de inteligencia artificial más poderosos hoy en día, los que se llaman redes neuronales profundas, son básicamente cajas negras. Producen resultados que en muchos casos ni sus propios creadores pueden explicar completamente. Si le preguntás a un sistema de reconocimiento facial por qué clasificó esta cara como sospechosa, no te puede dar una respuesta que los humanos entendamos. El proceso interno es matemáticamente complejo hasta el punto de ser opaco incluso para los expertos.

Esto tiene implicancias enormes. En el sistema jurídico, por ejemplo, existe el principio de que una persona tiene derecho a saber de qué se la acusa y cuáles son las evidencias en su contra. Ese principio, que en el derecho podemos llamar debido proceso, es un derecho fundamental. Pero si el sistema que decidió que vos sos sospechoso es una red neuronal que no puede explicar su razonamiento, ¿cómo ejercés ese derecho?

En varios estados de los Estados Unidos se usa un sistema llamado COMPAS para predecir la probabilidad de reincidencia criminal y así ayudar a los jueces a decidir sentencias. El sistema es propietario, es decir, privado, y sus creadores se niegan a revelar cómo funciona exactamente argumentando que es secreto comercial. Hay casos documentados de personas que recibieron condenas más duras basadas parcialmente en la puntuación de ese algoritmo, y que no pudieron cuestionarlo porque nadie les podía explicar cómo llegó a ese número.

Eso es un problema ético y filosófico gravísimo. Es la irracionalidad vestida con ropa matemática.

Qué se puede hacer: regulación, diseño ético y ciudadanía activa

Entonces, ¿qué hacemos? ¿Cómo salimos de acá?

Esta es la parte donde, con honestidad, no hay respuestas fáciles. Pero hay propuestas interesantes.

Una corriente filosófica que ganó mucho peso en los últimos años es la de la ética de la tecnología centrada en la dignidad humana. El filósofo alemán Jürgen Habermas, aunque no habla directamente de tecnología en la mayoría de su obra, ofrece una herramienta conceptual muy útil: la idea de que las decisiones que afectan a la comunidad deben ser resultado de un proceso comunicativo racional, abierto, en el que todos los afectados puedan participar. Aplicado a la tecnología, esto querría decir que las decisiones sobre qué valores codificar en los algoritmos no pueden ser tomadas unilateralmente por ingenieros o ejecutivos, sino que requieren algún tipo de deliberación pública.

Hay países que están empezando a moverse en esa dirección. La Unión Europea aprobó lo que se llama la Ley de Inteligencia Artificial, que establece categorías de riesgo y requisitos de transparencia y supervisión humana para sistemas de alto riesgo. Es imperfecta, tiene críticas de todos lados, pero es un intento de respuesta política a un problema filosófico. La idea es que no podemos dejar que la ética tecnológica sea solo una conversación interna de las empresas.

Otro enfoque viene del campo del diseño ético. Hay investigadores y diseñadores que proponen que la ética tiene que estar integrada en el proceso de desarrollo tecnológico desde el principio, no como una verificación al final. Que cuando estás diseñando un sistema, tenés que hacerte preguntas como: ¿a quién puede dañar esto? ¿A quién excluye? ¿Quién no está representado en los datos que usamos? ¿Qué suposiciones sobre el mundo estamos codificando?

Es un cambio de mentalidad importante. La ingeniería tradicional pregunta: ¿funciona? La ingeniería éticamente consciente pregunta: ¿funciona, y para quién, y a costa de quién?

El rol del ciudadano informado

Hay algo más que vale señalar antes de cerrar, y es sobre nosotros, sobre los usuarios comunes.

Existe una tendencia a pensar que estos son problemas de especialistas, que los que tienen que resolverlos son los ingenieros, los filósofos, los reguladores. Y en parte es verdad. Pero hay un rol que nosotros jugamos también, y es el rol del ciudadano informado.

Kant decía que la ilustración, en el sentido amplio de la palabra, era "la salida del hombre de su minoría de edad autoculpable". Autoculpable porque la minoría de edad, el no pensar por uno mismo, muchas veces es una elección cómoda. Es más fácil dejar que otros decidan. Es más fácil no leer los términos y condiciones, y sí, lo sé, nadie los lee, y están diseñados para que nadie los lea. Pero hay una diferencia entre no leerlos y no saber que existen, entre no entender los algoritmos y no saber que te afectan.

La primera forma de resistencia, si se puede llamar así, es simplemente entender que estas cosas existen y que importan. Que cuando usás una aplicación, hay elecciones morales codificadas en ella. Que cuando una plataforma te muestra cierto contenido y te oculta otro, alguien tomó esa decisión. Que no es natural, no es neutral, no es inevitable.

Una vez que sabés eso, podés hacerte preguntas. Podés buscar alternativas. Podés apoyar regulaciones. Podés exigirle a tus representantes políticos que se ocupen del tema. Podés, si tenés hijos o estudiantes cerca, hablar de esto con ellos.

No se trata de convertirse en especialista en ética algorítmica. Se trata de no cerrar los ojos.

La pregunta que Aristóteles le haría a Silicon Valley

Volvamos a aquellos ingenieros sentados en su sala de reuniones en Silicon Valley tratando de decidir a quién mata el auto sin conductor. No se los puede culpar personalmente. Están haciendo lo que pueden con las herramientas que tienen. El problema es sistémico, es estructural, es una consecuencia de haber dejado que la filosofía y la política llegaran tarde a una fiesta que la tecnología empezó hace décadas.

Pero también es solucionable. No fácil, no rápido, pero solucionable. Porque los problemas filosóficos mencionados a lo largo de este artículo, la responsabilidad moral, el consentimiento, la justicia, la transparencia, son problemas que la humanidad lleva siglos pensando. No tenemos todas las respuestas, pero tenemos herramientas conceptuales muy desarrolladas. El desafío es aplicarlas con la urgencia que el momento requiere.

Aristóteles decía que la polis, la comunidad política, era el espacio donde los seres humanos podían vivir bien juntos. Hoy, gran parte de nuestra vida pública ocurre en plataformas digitales diseñadas por empresas privadas con fines comerciales. La pregunta que Aristóteles le haría a Mark Zuckerberg, a Sam Altman, a todos ellos, sería muy simple: ¿su tecnología nos ayuda a vivir bien juntos, o nos empuja a vivir solos, enojados y vigilados?

Esa pregunta no tiene respuesta técnica. Tiene respuesta filosófica y política. Y encontrarla es trabajo de todos.