INFOMAG MAGAZINE

Kate Crawford sobre la IA: está diseñada para discriminar

Kate Crawford sobre la IA: está diseñada para discriminar. Son infraestructuras físicas que están transformando la Tierra, a la vez que alteran la forma en que vemos y entendemos el mundo, afirma la investigadora en la Annenberg School for
Communication and Journalism de la University of Southern California.

Kate Crawford, una profesora canadiense, se encontraba investigando estos temas mucho tiempo antes de las advertencias de estos tecno-juglares. El resultado fue un libro, editado en la Argentina por Fondo de Cultura Económica: Atlas de Inteligencia Artificial, poder política y costos planetarios.

La inteligencia artificial provoca una eterna inquietud. ¿Se rebelará contra sus creadores, como el ordenador HAL de 2001: una odisea en el espacio o los sistemas inteligentes de Terminator.
La pregunta queda algo relativizada al saber que una imagen pornográfica de Playboy, convenientemente recortada, ha sido la más utilizada en la historia de la ciencia computacional.

«En cada nueva tecnología vemos los viejos dioses. El código morse se usó al aparecer para enviar mensajes a los muertos y las primeras técnicas fotográficas para capturar fantasmas», señala la académica Kate Crawford recordando cómo un ingeniero de Google afirmó que su inteligencia artificial LaMDA es sintiente.

«LaMDA es una gran conversadora, enseñada con millones de diálogos de internet. ¿Por qué el ingeniero cae y piensa que es inteligente sabiendo cómo está hecha? Las nuevas tecnologías siempre han sido asociadas con lo sobrenatural, su combinación de magia y realismo les dan una cualidad casi teológica», explica ante el público del Sónar+D, el certamen de arte y tecnología que acompaña al musical.


Lo que a ella y al artista Trevor Paglen les preocupa es con qué ojos humanos, con qué sesgos de clase, género y raza se crean estas inteligencias artificiales, con qué bases de datos sacadas de un internet en el que abunda el odio, explican, valora con cinco puntos el enfado y con uno solo la sonrisa y la polarización.

Uno de los aspectos menos conocidos de la IA es la cantidad de empleados mal remunerados que se necesitan para construir, mantener y poner a prueba estos sistemas. Es lo que se llama «el trabajo fantasma» o «la automatización alimentada por humanos», que se aplica desde la minería hasta el crowdsourcing, pasando por el software. ChatGPT extrae sus respuestas de internet, que está repleto de toxicidad. Se sabe que hay trabajadores en África cobrando dos euros por hora por eliminar manualmente las frases violentas, sexuales y los discursos de odio. Es deshumanizante.

La profesora denuncia la permisividad que se está dando a la Inteligencia Artificial para invadir nuestros espacios sin ningún tipo de regulación, y sin embargo se necesita fijar unos límites.

La pregunta más importante es cómo vamos a garantizar que los sistemas de inteligencia artificial generativa sean justos, que su interpretación de la realidad sea la adecuada desde un punto de vista ético y que no haya sesgo a consecuencia del poder. El mejor ejemplo hasta el momento es The AI Act, la propuesta de ley para regular la inteligencia artificial en la Unión Europea, pero costó años llegar a un consenso.

De lo contrario advierte de la irresponsabilidad de que unos pocos poderosos se adueñen de los mecanismos de IA «Lo que vemos una y otra vez, desde el reconocimiento facial hasta el seguimiento y la vigilancia en los lugares de trabajo, es que estos sistemas están empoderando a instituciones que ya son poderosas: corporaciones, militares y policías».

La modelo de Playboy Lena Söderberg fue la imagen más usada en la historia de la ciencia computacional. Imaginaos esa industria hostil para las mujeres, una imagen pornográfica fue la ideal que eligieron para trabajar, señala Crawford.

Modelo de Playboy, Lena Söderberg

Los primeros proyectos militares de reconocimiento facial en EE.UU. buscaron el rostro estándar midiendo las cabezas de los hombres del laboratorio siguiendo viejas ideas de la frenología de finales del XIX. Ya en los setenta un ingeniero, Alexander Sawchuck, busca una imagen para una conferencia. Aparece un colega con la revista Playboy y escanea la cabeza de la modelo central, Lena Söderberg, que se convertirá en «la imagen más usada en la historia de la ciencia computacional, tanto para testar algoritmos visuales como para técnicas de compresión de imagen. En una industria hostil para las mujeres, una imagen pornográfica fue la ideal que eligieron para trabajar, señala Crawford. Más tarde se usaron los retratos de detenidos y acusados que poseía la policía.

«La visión de los ordenadores comienza con Playboy, presos y personal de bases militares», señalan, reproduciendo los sesgos del poder.

Para entrenar a sistemas de inteligencia artificial en reconocimiento del discurso se usaron medio millón de correos electrónicos de la empresa Enron hechos públicos tras su monumental fraude y cargados de lenguaje machista, racista y delictivo. Y es que ya antes Robert Mercer, cuando estaba en IBM, antes de Cambridge Analytics, de apoyar a Trump y el Brexit, decidió, como se hace hoy, que lo importante para que puedan aprender los sistemas de inteligencia artificial son datos y más datos, reduciendo a ellos el significado.

Hoy se alimenta estos sistemas con los datos infinitos de un internet repleto de odio y división, llenando de sesgos las inteligencias artificiales que deciden puestos de trabajo o buscan terroristas. Una evolución que va haciendo que los humanos se conviertan en lo que los modelos dicen.

Crawford concluye que no importa qué versión veamos de la inteligencia artificial, sino que sepamos «a través de qué ojos está mirando».

Lo que aparenta maravillas que podrían habérsele ocurrido a Isaac Asimov es algo que viene trabajándose hace varias décadas según reconstruye Crawford en su libro: «La computación algorítmica, la estadística computacional y la IA fueron desarrolladas en el siglo XX para abordar desafíos sociales y ambientales, pero después serían utilizadas para intensificar la extracción y la explotación industriales y agotar aún más los recursos naturales».


El libro también reúne varias escenas narrativas bien visuales. Esto evita que se trate de un mero ensayo académico que enumera datos e informes sino, más bien, le da un tono más ameno a la lectura. También, por momentos, se vuelve inquietante. Como cuando advierte acerca de las consecuencias medioambientales del desarrollo de la IA que afecta múltiples recursos naturales ligados a la explotación industrial y minera.


Las consecuencias medioambientales, así como las posibilidades de manipulación emocional o los cambios drásticos en el ámbito laboral son algunos de los puntos centrales del pensamiento de esta autora quien también es investigadora principal en el Microsoft Research Lab de Nueva York y enseña en el École Normale Supérieure de París.


El principal peligro, sentencia, estaría al vincular la IA con las estructuras de poder, el control y la vigilancia, algo que se incrementó luego de la pandemia del Covid. En 2022, la Real Academia Española nombró a la «Inteligencia Artificial» como la palabra del año. Este dato no menor otorga aún más relevancia al análisis de Crawford quien, con lucidez y erudición, aporta las preguntas que se necesitan para interrogar esta (no tan) nueva tecnología bajo un prisma ético.

Sentencia: «En lugar de preguntarse dónde se aplicará la IA, simplemente porque puede aplicarse, el énfasis debería estar puesto en por qué tendría que aplicarse».

Kate Crawford sobre la IA: está diseñada para discriminar. Por Justo Barranco

Salir de la versión móvil