La Comisión Europea publicó un borrador del Reglamento de Inteligencia Artificial, o ‘IA Act’ (AIA, por sus siglas en inglés) en abril de 2021. Tras largos meses de análisis, una vez que el Parlamento de la UE ratifique en el Pleno su posición en junio, el Consejo, el Parlamento y la Comisión estarán en condiciones de negociar con la Comisión el texto definitivo. Aunque el Reglamento todavía puede sufrir cambios durante las negociaciones, se espera que sea definitivamente aprobado a finales de año.

Con el objetivo de posicionar a Europa como centro mundial de excelencia en IA, aprovechando su potencial para el progreso científico e industrial, el nuevo reglamento pretende reforzar la normativa sobre el desarrollo y el uso de esta tecnología en el marco del respeto de los valores y la legislación de la Unión Europea.

Sabedores de que este reglamento corre peligro de quedar obsoleto ante la evolución tecnológica, la Comisión ha regulado la aplicación de la IA a casos de uso concretos y no la tecnología en sí. Por ello, se evalúa el riesgo que el uso de la tecnología puede suponer para los derechos fundamentales, la salud y la seguridad de una persona y se clasifican los sistemas de IA en cuatro niveles de riesgo: inaceptable, alto, limitado y mínimo.

Niveles de riesgo

Tienen riesgo inaceptable, y su producción y uso están prohibidos por el reglamento, los sistemas de IA con alta probabilidad de perjudicar física o psicológicamente a las personas. Estos se refieren a las aplicaciones que manipulan subliminalmente, clasifican socialmente o vigilan indiscriminadamente a la ciudadanía. Entre estos sistemas están los utilizados para la identificación biométrica remota en tiempo real de personas en lugares públicos con fines policiales y los sistemas de crédito social que evalúan a la ciudadanía y pueden limitar su acceso a servicios públicos; un tipo de discriminación ya prohibida en la Unión Europea mediante el Reglamento General de Protección de Datos (RGPD), siendo en Uruguay la ley 18.331 de Protección de Datos Personales.

Foto cedida a Montevideo Portal

Por su parte, la categoría de alto riesgo la integran los sistemas de IA que, mal implementados, podrían tener un importante impacto en los derechos fundamentales, la salud y la seguridad de una persona. Estos sistemas no están prohibidos en la UE, pero deben cumplir varios requisitos adicionales, como evaluaciones de conformidad, aplicación de sistemas de gestión de riesgos, prácticas de gobernanza de datos, elaboración de documentación técnica, mantenimiento de registros, transparencia y suministro de información a los usuarios.

El Anexo III del reglamento detalla ocho ámbitos de aplicación, como la gestión de infraestructuras críticas o el control de migraciones, así como el acceso a educación o empleos, entre otros. Por ejemplo, el uso de IA para la gestión de personal en una empresa, desde la contratación al despido, pasando por la asignación de tareas, es posible en la UE siempre y cuando se garantice la transparencia, la no discriminación, y demás requisitos.

Finalmente, están los sistemas considerados de riesgo limitado y los de riesgo mínimo. Los primeros son aquellos que interactúan con personas mediante un agente automatizado, como los chatbots; reconocen emociones; categorizan biométricamente a las personas; o manipulan contenido audiovisual. A estos sistemas se les exige que informen a los ciudadanos sobre su funcionamiento. Para los sistemas que pertenecen a la categoría de riesgo mínimo, ni la Comisión ni el Consejo imponen requisitos adicionales, pero el Parlamento propone establecer unos principios generales que deberían guiar su desarrollo.

Además, en las últimas semanas, ante el auge de herramientas como ChatGPT, el Parlamento europeo ha propuesto introducir algunos requisitos concretos sobre la tecnología en que se basa esta herramienta, los modelos fundacionales. Estos requisitos serían exigibles para cualquier sistema de este tipo, se aplique a un caso de uso de alto riesgo o no.

Este será uno de los temas más relevantes en la negociación del texto final, pues es contrario al objetivo inicial de que la norma no regule tecnologías concretas y, si los requisitos son difícilmente cumplibles por los desarrolladores de este tipo de tecnología, se corre el riesgo de impedir el desarrollo y uso de esta tecnología con gran potencial en la Unión Europea. En estos momentos, los requisitos de gobernanza impuestos por el Parlamento podrían obstaculizar la adopción de esta tecnología en la Unión Europea.

Lagunas de la AIA

La propia categorización del reglamento es criticada por su arbitrariedad. Aparna Viswanathan, jurista india experta en tecnología, señala que “los criterios de cada categoría de riesgo no proporcionan ninguna base justiciable para determinar la categoría de un sistema de IA”. Aparna argumenta que los sistemas de recomendación usados en redes sociales y plataformas audiovisuales sugieren contenido diferente a usuarios según su sexo, edad, etnia o personalidad; por lo que “deberían entrar en la categoría de riesgo inaceptable por el riesgo documentado que han creado tanto para la democracia como para la salud mental de los adolescentes”.

La abogada ha ejercido en EE.UU. y pone como ejemplo el uso de Facebook para influir en las elecciones americanas de 2020 o el uso de Twitter para instigar los disturbios del Capitolio en 2021. “La doctrina jurídica de la 'intención', en concreto, la formulación 'destinado a ser utilizado' por el desarrollador del sistema de IA, clave para determinar si un sistema de IA es de 'alto riesgo', es prima facie inviable”.

Foto cedida a Montevideo Portal

La falta de precisión en alguno de los requisitos del reglamento también genera confusión para los interesados. Por ejemplo, para evitar que un sistema opere de manera sesgada, opaca o injusta, se establece que los datos tienen que ser completos y libres de errores. “Tal cosa es imposible porque los datos de una compañía generalmente no representan a toda la población, sino a sus clientes”, explica Jesús Lozano, Senior Manager en Regulación Digital en BBVA. “Otra cosa es que la empresa se tenga que asegurar de que los datos que usa no afectan la calidad del modelo que va a desarrollar. Es decir, es lógico requerir que los datos utilizados en un sistema sean de calidad, pero es casi imposible que estos representen a toda la población o no contengan ningún error”, agregó.

La ambigüedad también afecta a técnicas susceptibles de ser identificadas como sistemas de IA aunque no lo sean. Es el caso de las regresiones lineales, habitualmente utilizadas en la concesión de crédito bancario, que, en la propuesta de la Comisión, no así en las posiciones del Consejo y el Parlamento europeos, podrían considerarse IA de alto riesgo.

En cualquier caso, el reglamento prevé que sea el supervisor nacional quien interprete la norma y evalúe el nivel de cumplimiento de los criterios. Para la coordinación y armonización de prácticas supervisoras se crea un órgano asesor, el Consejo Europeo de IA, pero sus decisiones no son de carácter vinculante.

La violación del reglamento acarrea sanciones de hasta 30 millones de euros o el 6% de los ingresos globales de la empresa que la incumpla, así como multas si se presenta documentación falsa o engañosa a los reguladores. Teniendo en cuenta que algunos de los casos previstos por el reglamento también están amparados por el RGPD, queda por esclarecer si las sanciones por incumplimiento de la AIA se acumularían a las previstas por el RGPD.

“Si los requisitos son poco concretos y las sanciones altas, el riesgo de incumplimiento aumenta y el impacto del mismo es mayor”, resume Jesús Lozano.

Potencial de la AIA

Pese a sus limitaciones, el borrador de la AIA representa el primer acercamiento sistemático y armonizado a la Inteligencia Artificial desde una perspectiva legal. Países punteros en esta tecnología, como China, Japón y Canadá, tienen planes y estrategias nacionales al respecto, incluso comités de asesores independientes en el caso de los dos últimos. Pero ninguno cuenta con un reglamento tan ambicioso como la AIA. 

Tampoco EE UU, donde no hay una ley federal específica, sino normas vinculadas como la Ley de Privacidad del Consumidor de California (CCPA).

Según Viswanathan, “las lagunas de la AIA se derivan del hecho de que se ha concebido en términos de la doctrina jurídica de la responsabilidad por productos defectuosos. En cambio, la IA no es un producto, sino un sistema que tiene su propio ciclo de vida”. Aparna desearía que los reguladores analizasen rigurosamente todos los aspectos del ciclo de vida de la IA, en colaboración con expertos técnicos, para concebir una normativa que prevenga los daños antes de que se produzcan, en lugar de intentar evaluar el nivel de daño después de que el sistema se haya comercializado.

En este sentido, Virginia Mijes Martín, experta en Expansión Digital y profesora de EAE Business School, cree que la solución está en la continua actualización de un reglamento que “ofrece un marco regulatorio general, aunque la realidad obligue a una aceleración de la revisión cada año o cada dos años para poder acompañar la velocidad de crucero que han tomado las tecnologías”.