¿Puede una computadora saber que nosotros sabemos lo que sabe?

Por The New York Times | Oliver Whang

Es común que los seres humanos leamos la mente, pero no de la manera en que los psíquicos aseguran poder hacerlo, accediendo a los cálidos ríos de la consciencia que cubren la experiencia de cada persona, ni del modo en que los mentalistas afirman que lo hacen, extrayendo un pensamiento de nuestra cabeza a su antojo. La lectura de la mente se realiza todos los días, pero de una manera más sutil: vemos el rostro y los movimientos de las personas, oímos sus palabras y luego determinamos o intuimos lo que podría estar ocurriendo en su cabeza.

Entre los psicólogos, esa psicología intuitiva —la capacidad de atribuirles a otras personas estados mentales diferentes del nuestro— se llama teoría de la mente, y su ausencia o deficiencia se ha asociado al autismo, la esquizofrenia y otros trastornos del desarrollo. La teoría de la mente nos ayuda a comunicarnos y a entendernos unos a otros; nos permite disfrutar de la literatura y las películas, participar en juegos y comprender nuestro entorno social. De muchas maneras, esta capacidad es una parte esencial de lo que implica ser humano.

¿Y qué tal si una computadora también pudiera leer la mente?

Hace poco, Michal Kosinski, un psicólogo de la Escuela de Posgrado en Administración de la Universidad de Stanford, defendió justo esa idea: que los grandes modelos de lenguaje, como el ChatGPT y GPT-4 de OpenAI (las computadoras que predicen la siguiente palabra y que están entrenadas en enormes cantidades de textos tomados de internet), han desarrollado la teoría de la mente. Sus estudios no han sido revisados por otros expertos, pero fueron objeto de análisis y debates entre los psicólogos especialistas en cognición, quienes han estado tratando de responder a la pregunta que tanto se plantea últimamente —¿puede el ChatGPT hacer esto?— y llevarla al ámbito de una investigación científica más sólida. ¿Qué capacidad tienen estos modelos y cómo podrían cambiar el conocimiento que nosotros tenemos de nuestra propia mente?

“Los psicólogos no aceptarían ninguna aseveración relacionada con la capacidad de los niños pequeños solo con base en anécdotas acerca de nuestras interacciones con ellos, que es lo que parece estar sucediendo con ChatGPT”, señaló Alison Gopnik, una psicóloga de la Universidad de California, campus Berkeley, y una de las primeras científicas en investigar la teoría de la mente en la década de 1980. “Se tienen que realizar pruebas muy minuciosas y rigurosas”.

Las investigaciones anteriores de Kosinski demostraron que las redes neurales adiestradas para analizar los rasgos faciales, como la forma de la nariz, el ángulo que adopta la cabeza y las expresiones sentimentales podían predecir las ideas políticas y la orientación sexual de las personas con un grado asombroso de precisión (aproximadamente 72 por ciento en el primer caso y cerca del 80 por ciento en el segundo). Su reciente trabajo sobre modelos de lenguaje usa las pruebas clásicas de la teoría de la mente que miden la capacidad que tienen los niños de atribuirles a otras personas creencias equivocadas.

Un ejemplo muy conocido es la prueba de Sally-Anne, en la que una niña, Anne, saca una canica de una canasta y la mete en una caja cuando otra niña, Sally, no la está viendo. Según los investigadores, para saber dónde va a buscar la canica Sally, el observador tendría que aplicar la teoría de la mente y considerar la evidencia perceptiva y la formación de creencias de Sally: esta no vio a Anne sacar la canica a la caja, así que cree que sigue estando donde la dejó, en la canasta.

Kosinski introdujo en 10 grandes modelos de lenguaje 40 variaciones especiales de estas pruebas de la teoría de la mente, descripciones de situaciones como las de la prueba Sally-Anne, en las que una persona (Sally) concibe una creencia equivocada. Luego Kosinski les planteó a los modelos preguntas sobre esas situaciones y los indujo a ver si atribuían creencias equivocadas a los participantes y anticipaban con precisión su comportamiento. Descubrió que el GPT-3.5, lanzado en noviembre, lo hacía el 90 por ciento de las veces y que el GPT-4, lanzado este mes, lo hacía el 95 por ciento de las veces.

¿Cuál es la conclusión? Las computadoras aplican la teoría de la mente.

Pero poco después de que se publicaron estos resultados, Tomer Ullman, un psicólogo de la Universidad de Harvard, objetó con una serie de experimentos propios y demostró que unos pequeños ajustes en las instrucciones podían cambiar por completo las respuestas generadas incluso por los grandes modelos de lenguaje más sofisticados. Si un contenedor era descrito como transparente, las computadoras no eran capaces de inferir que alguien podía ver a través de este. Las computadoras tuvieron problemas para tomar en consideración la señal de las personas en estas situaciones y a veces no pudieron distinguir si un objeto estaba dentro de un contenedor o sobre él.

Maarten Sap, un informático de la Universidad Carnegie Mellon, introdujo más de 1000 pruebas de la teoría de la mente en grandes modelos de lenguaje y descubrió que los sistemas más avanzados, como el ChatGPT y GPT-4, aprobaban solo aproximadamente el 70 por ciento de las veces. (En otras palabras, les asignaban creencias equivocadas el 70 por ciento más de las veces a las personas descritas en las situaciones de las pruebas). La discrepancia entre sus datos y los de Kosinski podría reducirse a diferencias en la evaluación, pero Sap señaló que incluso aprobar el 95 por ciento de las veces no sería evidencia de la existencia de una verdadera teoría de la mente. Las computadoras casi siempre fallan en un camino con vericuetos y no son capaces de tener un razonamiento abstracto, por lo que casi siempre realizan “correlaciones falsas”, explicó.

Ullman observó que, durante el último par de décadas, a los científicos que estudian el aprendizaje automático les ha costado trabajo plasmar la flexibilidad del conocimiento humano en los modelos informáticos. Esta dificultad ha sido un “hallazgo de sombra” que está detrás de todas las innovaciones interesantes, puntualizó. Los investigadores han demostrado que los modelos de lenguaje casi siempre dan respuestas incorrectas o irrelevantes cuando se les da información innecesaria antes de plantearles una pregunta; algunos bots conversacionales se confundieron tanto con los debates hipotéticos sobre aves parlantes, que al final aseguraron que las aves podían hablar. Debido a que su lógica se ve afectada por los pequeños cambios en la información que se les da, los científicos han tachado de “frágil” el conocimiento de estas computadoras.

Gopnik comparó la teoría de la mente de los grandes modelos de lenguaje con su propia comprensión de la relatividad general. “He leído lo suficiente como para saber qué son las palabras”, afirmó. “Pero si me pidieran hacer una nueva predicción o hablar de lo que nos dice la teoría de Einstein acerca de un nuevo fenómeno, me quedaría muda porque en realidad no tengo esa teoría en la cabeza”. Por el contrario, explicó, la teoría de la mente humana se asocia con otros mecanismos de razonamiento de sentido común; soporta el escrutinio. Es natural, y a menudo la sociedad lo requiere, explicar el comportamiento humano a través de creencias, deseos, intenciones y pensamientos. Esta tendencia es algo esencial de lo que somos; tanto es así, que en ocasiones tratamos de leer la mente de cosas que no tienen mente, al menos no como la nuestra. Michal Kosinski, un psicólogo de la Escuela de Posgrado en Administración de la Universidad de Stanford, sostiene que los grandes modelos de lenguaje han desarrollado la teoría de la mente, pero muchos investigadores están en desacuerdo. (Christie Hemm Klok/The New York Times)