John Searle: por qué la inteligencia artificial no entiende nada

Hace unos años, hablar con una computadora era una experiencia ridícula. Le hacías una pregunta y te contestaba "lo siento, no entendí lo que dijiste". Le pedías el clima y te abría una página de noticias. La idea de que una máquina pudiera tener una conversación parecida a la humana era ciencia ficción. Hoy, en cambio, escribís cualquier cosa en un chatbot y te responde con coherencia, te explica conceptos complejos, te ayuda a redactar mails, te resuelve un código, hasta te tira una broma medianamente buena. Mucha gente, viendo eso, se hace una pregunta inevitable: estas máquinas, ¿están pensando? ¿Entienden lo que dicen? ¿Hay alguien adentro?

Hace casi cuarenta y cinco años, antes de que existiera ChatGPT, antes de que internet fuera siquiera un proyecto serio, un filósofo californiano publicó un experimento mental que sigue siendo la mejor herramienta para pensar esa pregunta. Se llama el argumento de la habitación china. El filósofo se llama John Searle. Y lo que dice es muy claro: por más impresionantes que sean las máquinas, por más fluidas que sean sus respuestas, no entienden nada de lo que dicen. Pueden simular comprensión. Pero la simulación, según Searle, no es la cosa real.

Hoy, cuando todo el mundo tiene una opinión sobre la inteligencia artificial, vale la pena volver a este viejo argumento, porque sigue cortando como un cuchillo y porque pone sobre la mesa preguntas que la industria tecnológica preferiría no hacer. ¿Qué significa entender? ¿Qué diferencia hay entre seguir reglas y comprender lo que hacés? ¿Puede una computadora ser consciente? Searle dijo "no" hace mucho tiempo, y los argumentos siguen vigentes.

Un filósofo californiano poco californiano

John Searle nació en 1932 en Denver, Colorado, pero hizo casi toda su carrera en California, en la Universidad de Berkeley, una de las grandes universidades de Estados Unidos. Era un profesor con una presencia particular: hablaba fuerte, discutía con todo el mundo, no tenía paciencia para argumentos flojos. Era el típico profesor que te iba a destrozar el ensayo si no estaba bien escrito, pero también el que te iba a explicar las cosas con una claridad pedagógica enorme. Sus clases eran famosas porque transformaban temas que parecían abstractos en discusiones concretas, casi callejeras.

Searle se formó como filósofo del lenguaje. En su juventud estudió en Oxford, donde participó del movimiento de la filosofía analítica, esa corriente que intentaba entender la mente y la realidad analizando con precisión cómo usamos las palabras. Su primer libro importante, Actos de habla, publicado en 1969, fue un trabajo técnico sobre cómo el lenguaje no solo describe el mundo sino que también lo modifica: cuando alguien dice "te prometo", está haciendo una promesa, no contando una. Cuando un juez dice "los declaro casados", está casándolos. El lenguaje hace cosas, no solo las nombra.

Pero su fama mundial le llegó por otra cosa. En 1980, Searle publicó un artículo titulado "Mentes, cerebros y programas". En ese artículo, presentó el experimento mental que iba a obsesionar a generaciones de filósofos, científicos cognitivos e investigadores de inteligencia artificial. La habitación china.

El experimento mental

El experimento es así. Imaginate que estás encerrado en una habitación. No sabés nada de chino. No sabés leer chino, no sabés hablar chino, no sabés siquiera distinguir un carácter chino de otro. Para vos, los caracteres chinos son garabatos sin sentido.

Adentro de la habitación tenés una pila enorme de papeles con caracteres chinos. También tenés un libro de instrucciones, escrito en castellano, que te da reglas precisas. Las reglas son del tipo: "si recibís un papel que tiene un caracter como este, buscá en la pila de respuestas un papel que tenga un caracter como este otro, y devolvelo". El libro tiene cientos, miles de reglas. Es un manual gigantesco.

Por debajo de la puerta de la habitación, alguien te pasa un papel con caracteres chinos. Vos no entendés nada de lo que dice. Pero, siguiendo las instrucciones del manual, identificás los caracteres, vas a la pila de respuestas, sacás el papel correspondiente y lo devolvés por debajo de la puerta. Afuera, hay un chino nativo que escribió la pregunta original y ahora recibe la respuesta. Para él, la respuesta es perfecta. Coherente. Parece que adentro de la habitación hay alguien que entiende chino.

Pero vos sabés que no es así. Vos estás adentro. Vos sabés que no entendiste absolutamente nada. Manipulaste símbolos sin comprender qué significaban. Seguiste reglas, hiciste lo que el manual te dijo. El chino que está afuera tiene la ilusión de hablar con alguien que entiende chino. Pero esa ilusión es solo eso: una ilusión.

Si solo manipulando símbolos según reglas formales se pudiera entender un idioma, entonces yo, encerrado en esa habitación, entendería chino. Pero no entiendo chino. Por lo tanto, manipular símbolos según reglas no es entender.

Y ese es el punto. Searle dice: una computadora, por más sofisticada que sea, hace exactamente lo que el hombre en la habitación. Recibe inputs en forma de símbolos (palabras, frases, datos), aplica reglas (su programa) para procesar esos símbolos, y produce outputs (respuestas, predicciones, textos). El problema es que esa manipulación de símbolos, por más fluida que sea, no implica comprensión. La computadora, como el hombre en la habitación, no sabe lo que dice.

Esta es la distinción crucial entre lo que Searle llama "sintaxis" y "semántica". La sintaxis es la forma, las reglas, los procedimientos para combinar símbolos. La semántica es el significado, lo que esos símbolos representan en el mundo. Las computadoras manejan sintaxis. Pero, según Searle, no manejan semántica. Pueden combinar palabras correctamente, pero no saben de qué hablan.

La distinción que cambió el debate

Para entender bien qué dice Searle, tenés que tener en cuenta lo que estaba en discusión en la época. En los años setenta y ochenta, había una corriente muy fuerte en ciencia cognitiva que se llamaba "inteligencia artificial fuerte". Los defensores de esa posición decían algo muy ambicioso: si conseguimos hacer un programa que simule todos los procesos cognitivos humanos, ese programa va a estar pensando, va a tener mente, va a ser consciente. La computadora correctamente programada sería literalmente una mente, no solamente una imitación de mente.

Searle apuntó al corazón de esa idea con la habitación china. Su argumento es que la computadora, no importa cuán perfecta sea, está haciendo manipulación sintáctica. Y la manipulación sintáctica no genera, por sí sola, comprensión. Por lo tanto, la inteligencia artificial fuerte está equivocada en su ambición. Las máquinas pueden simular comprensión, pero no pueden tenerla, al menos no por la mera vía de manipular símbolos.

Searle distingue entonces entre dos tipos de inteligencia artificial. La "débil", que ve a las computadoras como herramientas útiles para estudiar la mente humana, hacer simulaciones, analizar datos. Esta inteligencia artificial débil es perfectamente legítima y útil. La "fuerte", en cambio, sostiene que un programa adecuado realmente piensa, realmente entiende. Esta es la que Searle ataca. No dice que las computadoras no puedan ser útiles. Dice que la utilidad no es lo mismo que la comprensión.

Intencionalidad: la palabra clave que cambia todo

Hay un concepto técnico que Searle usa todo el tiempo y que vale la pena entender, porque es el corazón de su crítica. Se llama intencionalidad. No tiene que ver con "tener intenciones" en el sentido cotidiano. Es un término filosófico que se refiere a una propiedad muy específica de los estados mentales: la capacidad de estar dirigidos hacia algo, de ser sobre algo.

Cuando vos pensás en tu casa, tu pensamiento es sobre tu casa. Cuando deseás un café, tu deseo es sobre el café. Cuando creés que va a llover, tu creencia es sobre la lluvia. Esa relación entre tu estado mental y el objeto al que se refiere, esa "aboutness" como dicen en inglés los filósofos, es la intencionalidad. Es lo que hace que un pensamiento sea sobre el mundo y no sobre nada.

Searle dice que las computadoras no tienen intencionalidad. Cuando una máquina procesa la palabra "casa", no está pensando en una casa. No hay nada adentro de la máquina que se refiera a casas reales. Hay un patrón de bits, una secuencia de ceros y unos, que la máquina procesa según reglas. Pero esos bits no son sobre casas. Son sobre nada. Son simplemente patrones que la máquina trata según su programa.

La intencionalidad humana, en cambio, es una propiedad biológica del cerebro. Cuando vos pensás en algo, hay algo que está pasando en tu cabeza, alguna configuración neuronal específica, que está conectada con el mundo de una manera que las máquinas no pueden imitar. No porque sea mágico. Porque es producido por un sistema biológico particular que evolucionó durante millones de años para hacer exactamente eso: tener pensamientos sobre el mundo.

Esta distinción es importante porque mucha de la confusión actual sobre la inteligencia artificial nace de no verla. Cuando un chatbot escribe "yo pienso que esto es interesante", no está pensando que es interesante. Está produciendo una secuencia de palabras que estadísticamente se parece a lo que un humano que pensara así produciría. Pero no hay un alguien atrás que tenga ese pensamiento. La frase es una imitación perfecta sin un sujeto detrás.

Las respuestas de los críticos

El argumento de Searle generó una catarata de respuestas. Algunas son interesantes y vale la pena conocerlas, porque ayudan a refinar las preguntas.

La primera respuesta se llama "la respuesta del sistema". Dice algo así: es cierto que el hombre dentro de la habitación no entiende chino. Pero el hombre es solo una parte del sistema. El sistema completo (el hombre, el manual, los papeles, la habitación) sí entiende chino, aunque ningún componente individual lo entienda. La comprensión es una propiedad emergente del sistema, no de sus partes.

Searle no acepta esto y tiene una respuesta filosa: imaginate que en lugar de tener la habitación, el manual y todo, vos te memorizás todas las reglas. Te aprendés el manual entero. Ahora todo el "sistema" cabe dentro de tu cabeza. ¿Eso te hace entender chino? Sigue siendo no. Vos seguís manipulando símbolos sin saber qué significan. La comprensión no aparece mágicamente cuando agregás más componentes.

La segunda respuesta se llama "la respuesta del robot". Dice: tal vez una computadora aislada, manipulando solo símbolos abstractos, no entienda. Pero si pusieras esa computadora dentro de un robot, con cámaras, sensores, motores, capaz de moverse en el mundo y de interactuar con objetos reales, entonces sí entendería. La comprensión requiere conexión con el mundo, no solo procesamiento de símbolos.

Searle responde: que el robot tenga sensores no cambia nada esencialmente. Los sensores convierten estímulos físicos en datos digitales. Esos datos siguen siendo símbolos. La computadora dentro del robot sigue manipulando esos símbolos según reglas, sin saber qué representan. Agregar hardware no produce semántica.

La tercera respuesta es la más profunda. Se llama "la respuesta del simulador del cerebro". Dice: si construimos una computadora que simule, neurona por neurona, sinapsis por sinapsis, exactamente lo que hace tu cerebro, ¿esa computadora no entendería? ¿No tendría conciencia?

La respuesta de Searle a esto es ingeniosa. Imaginate un sistema gigantesco de cañerías de agua. Cada cañería representa una neurona. El agua que fluye representa los impulsos nerviosos. Las válvulas que se abren y cierran representan las sinapsis. Si construimos una red de cañerías que reproduzca exactamente el funcionamiento de tu cerebro mientras pensás, ¿esa red de cañerías está pensando? ¿Tiene conciencia? Searle dice que es absurdo creer eso. La forma del proceso, dice, no es lo que produce la mente. Lo que produce la mente es algo más, algo que tiene que ver con la biología específica de los cerebros.

La gran apuesta de Searle

Y acá llegamos a la posición positiva de Searle, que muchos olvidan al hablar de la habitación china. Searle no es un dualista. No piensa que el alma sea una cosa separada del cuerpo. Es un materialista, alguien que cree que la mente surge del cerebro físico. Pero, dice, la mente surge del cerebro de una forma específica, biológica, que no es reducible a un programa abstracto.

Para Searle, la conciencia es un fenómeno biológico, como la digestión o la fotosíntesis. Surge de las propiedades particulares del tejido neuronal. Una computadora que simule la digestión no digiere realmente. Una computadora que simule la fotosíntesis no produce oxígeno. Y una computadora que simule el pensamiento no piensa realmente, porque no tiene la maquinaria biológica que produce el pensamiento.

Esta posición es radical y discutida. Si Searle tiene razón, entonces nunca, jamás, una computadora hecha de chips de silicio va a ser consciente, no importa cuán complejo sea su programa. La conciencia requiere materia biológica específica, y la silicona no tiene esas propiedades. Si Searle se equivoca, entonces tarde o temprano la inteligencia artificial podría desarrollar una conciencia genuina.

El problema duro de la conciencia

Hay otro debate muy relacionado que ayuda a entender por qué este tema sigue abierto. Se llama "el problema duro de la conciencia", y lo planteó el filósofo australiano David Chalmers en los años noventa. Chalmers distingue entre los problemas "fáciles" de la conciencia y el problema "duro".

Los problemas fáciles son cosas como explicar cómo el cerebro procesa información, cómo se forman los recuerdos, cómo se distingue la atención de la distracción, cómo se generan respuestas verbales. Son fáciles entre comillas, porque en realidad son extremadamente complejos, pero al menos son problemas técnicos que en principio podemos resolver con neurociencia y experimentación.

El problema duro, en cambio, es otro. ¿Por qué hay una experiencia subjetiva acompañando a esos procesos? ¿Por qué hay un "qué se siente" al ver el rojo, al saborear un café, al sentir un dolor? Una computadora podría procesar señales luminosas correspondientes al rojo y emitir la palabra "rojo" en la salida. Pero, ¿hay algo que se siente en el medio? ¿Hay alguien adentro de la computadora viendo el rojo? Probablemente no. Pero adentro de tu cabeza, cuando ves el rojo, hay una experiencia. Y nadie sabe explicar por qué.

Searle no fue exactamente quien planteó este problema, pero su filosofía es coherente con él. La habitación china es, en cierto sentido, una forma de mostrar que el problema duro existe: es perfectamente posible imaginar un sistema que se comporte como si fuera consciente sin tener experiencia subjetiva ninguna. La habitación china es eso: un sistema funcional sin nadie adentro.

La inteligencia artificial actual y la habitación china

Entonces, cuando hablás con un chatbot moderno, cuando le pedís que escriba un poema, cuando te explica conceptos complejos, ¿qué está pasando? Searle diría: exactamente lo mismo que pasa en la habitación china. Hay un sistema enorme, entrenado con miles de millones de textos humanos, que aprendió patrones estadísticos sobre cómo se combinan las palabras. Cuando le hacés una pregunta, busca, según esos patrones, qué secuencia de palabras es más probable que sea una buena respuesta. Y la genera. Pero esa generación, por más fluida que parezca, no implica que el sistema entienda lo que dice.

Esto explica algo que muchos usuarios notaron. Los modelos modernos de inteligencia artificial son brillantes en algunas cosas y absurdos en otras. Pueden escribir un ensayo coherente sobre filosofía y al mismo tiempo afirmar que dos más dos son cinco si la conversación los lleva por ahí. Pueden inventar autores, libros y citas que nunca existieron, con total seguridad. Pueden contradecirse a los pocos minutos de haber afirmado algo. ¿Por qué pasa esto? Porque no hay comprensión real detrás. Hay manipulación de patrones. Cuando los patrones funcionan, la respuesta parece sabia. Cuando los patrones fallan, la respuesta parece delirante. La diferencia entre acierto y error no es comprensión. Es estadística.

Los sistemas actuales son habitaciones chinas extraordinariamente sofisticadas. Pero seguir reglas, por muchas que sean, no es entender lo que las reglas dicen.

Esto no significa que la inteligencia artificial no sirva. Sirve, y mucho. Es una herramienta increíblemente poderosa para una enorme cantidad de tareas. Pero entender lo que es y lo que no es, lo que puede y lo que no puede, importa. Sobre todo en una época donde mucha gente confía decisiones importantes a estos sistemas, que no entienden el contexto humano de esas decisiones.

El test de Turing y por qué Searle lo desafía

Para entender mejor el alcance del argumento, conviene mencionar el famoso test de Turing. Alan Turing, el matemático británico que ayudó a romper los códigos nazis durante la Segunda Guerra Mundial y que es considerado el padre de la computación, propuso en 1950 un criterio para saber si una máquina piensa. Su idea era simple: si una máquina puede mantener una conversación de tal forma que un humano no pueda distinguir si está hablando con otro humano o con la máquina, entonces, a todos los efectos prácticos, esa máquina piensa.

Searle ataca directamente este criterio. Dice: el test de Turing mide comportamiento, no comprensión. La habitación china pasa el test de Turing en chino, pero adentro de la habitación no hay comprensión. Por lo tanto, pasar el test de Turing no es suficiente para concluir que hay pensamiento real. La conducta puede ser indistinguible de la inteligencia sin que haya inteligencia detrás.

Esta crítica tiene consecuencias prácticas hoy. Los modelos modernos de lenguaje pasan, en muchos casos, una versión informal del test de Turing. La gente conversa con ellos y puede tener la impresión genuina de que hay alguien adentro. Pero, según Searle, esa impresión no prueba nada. La conducta puede engañar. La pregunta de fondo, si hay alguien adentro, sigue sin respuesta clara.

Qué nos queda de Searle

Searle todavía vive, aunque ya hace tiempo que no participa activamente del debate académico. Tuvo una caída en desgracia personal hacia el final de su carrera, con acusaciones serias de mala conducta que no tienen relación con la calidad filosófica de sus argumentos pero que ensombrecieron su legado público. Lo cierto es que la habitación china sigue siendo, casi cuarenta y cinco años después, uno de los argumentos más discutidos de la filosofía contemporánea.

Y nos deja con preguntas que siguen abiertas. ¿Qué es entender? ¿Qué es la conciencia? ¿La mente puede reducirse a procesamiento de información? ¿O hay algo en la mente que ninguna máquina podrá replicar nunca? Las respuestas no están claras. Pero la habitación china nos obliga a no confundir simulación con realidad. A no confundir un sistema que produce respuestas correctas con un sistema que entiende. A no confundir la fluidez del lenguaje con la presencia de un alguien al otro lado.

Cuando hablás con una inteligencia artificial moderna, hay una experiencia subjetiva: la tuya. La de la máquina, según Searle, no existe. Detrás del chat, no hay nadie. Hay un sistema, hay un programa, hay un proceso. Pero no hay un "alguien" que esté entendiendo lo que escribiste, sintiendo curiosidad por tu pregunta, eligiendo cómo responder. Lo que hay es un Searle invisible adentro de una habitación, manipulando símbolos sin saber qué dicen.

Y eso, según el filósofo californiano, no es ni va a ser nunca lo mismo que la mente humana. No por una limitación tecnológica que algún día vamos a resolver. Por una diferencia ontológica: la mente surge de la biología, no de los programas. Si tiene razón o no, todavía está por verse. Pero mientras tanto, conviene saberlo: estás hablando con una habitación, no con un alguien.