Inteligencia artificial para encontrar prejuicios en la inteligencia artificial

Por The New York Times | Cade Metz

En 2018, Liz O’Sullivan y sus colegas de una prominente empresa emergente de inteligencia artificial comenzaron a trabajar en un sistema que pudiera eliminar de manera automática los desnudos y otras imágenes explícitas de internet.

Les enviaron millones de fotografías en línea a trabajadores ubicados en India, quienes pasaron semanas agregando etiquetas al material explícito. Los datos vinculados con las fotografías se iban a usar para enseñarle cómo reconocer imágenes indecentes a un software de inteligencia artificial. Sin embargo, cuando las fotografías fueron etiquetadas, O’Sullivan y su equipo se dieron cuenta de un problema: los trabajadores indios habían clasificado como indecentes todas las imágenes de las parejas del mismo sexo.

Para O’Sullivan, el momento demostró la facilidad —y la frecuencia— con la que los prejuicios podían deslizarse en la inteligencia artificial. Era un “juego cruel del gato y el ratón”, comentó.

Este mes, O’Sullivan, una neoyorquina de 36 años de edad, fue nombrada directora ejecutiva de una nueva empresa, Parity. La empresa emergente es una de muchas organizaciones —entre ellas más de una decena de empresas emergentes y algunos de los nombres más importantes del sector tecnológico— que ofrecen herramientas y servicios diseñados para identificar y eliminar los prejuicios de los sistemas de inteligencia artificial.

Pronto, los negocios tal vez necesiten esa ayuda. En abril, la Comisión Federal de Comercio desaconsejó la venta de sistemas de inteligencia artificial que tuvieran prejuicios raciales o pudieran evitar que los individuos recibieran un empleo, una vivienda, un seguro u otros beneficios. Una semana más tarde, la Unión Europea reveló el proyecto de un reglamento que podría castigar a las empresas por ofrecer ese tipo de tecnología.

No queda claro de qué modo los reguladores podrán vigilar los prejuicios. La semana pasada, el Instituto Nacional de Normas y Tecnología, un laboratorio gubernamental de investigación cuyo trabajo a menudo inspira políticas, divulgó una propuesta en la que se detalla cómo los negocios pueden luchar contra los prejuicios en la inteligencia artificial, incluidos cambios en la manera en que se concibe y construye la tecnología.

Mucha gente de la industria tecnológica cree que los negocios deben comenzar a prepararse para unas medidas enérgicas. “Es inevitable que surja algún tipo de legislación o regulación”, comentó Christian Troncoso, director sénior de política legal en Software Alliance, un grupo comercial que representa a algunas de las empresas de software más grandes y antiguas. “Con cada una de estas historias terribles sobre la inteligencia artificial, se socava la confianza y la fe de la gente”.

En los últimos años, los estudios han demostrado que los servicios de reconocimiento facial, los sistemas de atención médica e incluso los asistentes digitales parlantes pueden tener prejuicios en contra de las mujeres, las personas de color y otros grupos marginados. Entre un coro cada vez mayor de quejas sobre el tema, algunos de los reguladores locales ya han tomado medidas.

A finales de 2019, los reguladores estatales de Nueva York abrieron una investigación contra UnitedHealth Group después de que un estudio reveló que un algoritmo que usaba un hospital priorizaba la atención de los pacientes blancos por sobre los pacientes negros, incluso cuando los pacientes blancos tuvieran un mejor estado de salud. El año pasado, el estado investigó el servicio de crédito Apple Card tras quejas de que discriminaba a las mujeres. Los reguladores dictaminaron que Goldman Sachs, la empresa que operaba la tarjeta, no discriminaba, mientras que el estatus de la investigación de UnitedHealth no está claro.

Un vocero de UnitedHealth, Tyler Mason, comentó que uno de sus socios le había dado un mal uso al algoritmo de la empresa, ya que en realidad no tenía prejuicios raciales. Apple se rehusó a ofrecer comentarios.

Durante los últimos seis meses, se han invertido más de 100 millones de dólares en empresas que exploran problemas éticos en la inteligencia artificial, además de los 186 millones de dólares del año pasado, de acuerdo con PitchBook, una firma de investigación que monitorea actividades financieras.

No obstante, hace poco, los esfuerzos para resolver el problema llegaron a un punto de inflexión cuando Software Alliance ofreció un marco detallado para combatir los prejuicios en la inteligencia artificial, incluidos el reconocimiento de que algunas tecnologías automatizadas requieren una supervisión regular de los seres humanos. El grupo comercial cree que el documento puede ayudar a las empresas a cambiar su comportamiento y puede mostrarles a los reguladores y los legisladores cómo controlar el problema.

Aunque se les ha criticado por tener prejuicios en sus propios sistemas, Amazon, IBM, Google y Microsoft también ofrecen herramientas para combatirlos.

O’Sullivan señaló que no había una solución sencilla para los prejuicios en la inteligencia artificial. Un asunto más espinoso es que algunas personas de la industria cuestionan si el problema es tan generalizado o perjudicial como ella cree.

“Los cambios de mentalidad no ocurren de la noche a la mañana, y eso es todavía más cierto cuando hablas de empresas grandes”, comentó. “Intentas cambiar no solo la mente de una persona, sino muchas mentes”.

Hace más de dos años, cuando O’Sullivan empezó a asesorar a los negocios sobre los prejuicios en la inteligencia artificial, a menudo se topaba con escepticismo. Muchos ejecutivos e ingenieros apoyaban un enfoque llamado “justicia por medio del desconocimiento”, al argüir que la mejor manera de construir una tecnología equitativa era ignorar asuntos como la raza y el género.

Cada vez con mayor frecuencia, las empresas creaban sistemas que aprendían tareas mediante el análisis de inmensas cantidades de datos, incluidos sonidos, fotos, texto y estadísticas. Se creía que, si un sistema aprendía a partir de la mayor cantidad de datos posibles, la equidad se daría sola.

Sin embargo, como lo observó O’Sullivan después de que terminaron el etiquetado en India, el prejuicio se puede filtrar a un sistema cuando los diseñadores eligen los datos equivocados o los examinan de la manera equivocada. Los estudios demuestran que los servicios de reconocimiento facial pueden tener prejuicios en contra de las mujeres y la gente de color cuando se les entrena con colecciones de fotos donde dominan los hombres blancos.

Los diseñadores pueden no percibir estos problemas. Los trabajadores de India —donde las relaciones homosexuales seguían siendo ilegales en aquel entonces y las actitudes hacia las personas gays eran muy distintas que en Estados Unidos— clasificaron las fotos como les pareció mejor hacerlo.

O’Sullivan se percató de las fallas y las dificultades de la inteligencia artificial mientras trabajaba para Clarifai, la empresa que dirigía el proyecto de etiquetado. O’Sullivan dijo que había dejado la empresa tras darse cuenta de que la firma estaba creando sistemas para el ejército, los cuales creía que a la postre podían usarse para matar. Clarifai no respondió a una solicitud para ofrecer comentarios.

O’Sullivan ahora cree que después de años de quejas públicas sobre los prejuicios en la inteligencia artificial —por no hablar de la amenaza de las regulaciones—, las actitudes están cambiando. En su nuevo marco para detener los sesgos dañinos, Software Alliance desaconsejó la justicia por medio del desconocimiento, pues el argumento no tiene sustento.

“Están reconociendo que se deben levantar las piedras y ver qué hay debajo”, opinó O’Sullivan. .