“La humanidad se está volviendo un privilegio para algunos mientras que la IA es el estándar para toda la población”

Por Stephanie Simonetta

Ivana Feldfeber reflexiona sobre los desafíos y riesgos del uso de la inteligencia artificial en empresas y organizaciones.

Mientras la inteligencia artificial se consolida como infraestructura invisible que atraviesa las decisiones cotidianas en las empresas, los sesgos históricos que reflejan desigualdades de poder persisten y se amplifican dentro de los algoritmos.

Ivana Feldfeber -investigadora especializada en políticas públicas, inteligencia artificial, activismo de datos y estudios de género- impulsa junto a Nodos Consultora una serie de charlas para empresas en las que no solo expone cómo operan estos sesgos, sino que propone una pregunta más profunda: qué costos sociales, ambientales y cognitivos estamos dispuestos a asumir.

– La IA avanzó muy rápido en el desarrollo de distintas capacidades en los últimos años, pero ¿ese avance fue acompañado por mejoras reales en la detección y mitigación de sesgos?

No. La verdad es que hubo una preocupación muy grande por parte de todos los líderes tecnológicos por ver quién tiene el mejor modelo, el más potente, el que puede hacer mejores vídeos, pero el tema de los sesgos fue detrás. Lo fueron arreglando a medida que la gente iba denunciando ciertas cosas, emparchando post-procesamiento.

Armaron toda una estrategia detrás de estos modelos para que nadie los denuncie por misoginia, racismo o capacitismo y que simplemente fueran lo más políticamente correctos posibles. Pero se notaba que ese post-procesamiento, esa ingeniería detrás, tenía muchas fallas y hasta el día de hoy siguen haciendo estudios de cómo estos modelos están profundamente sesgados.

Y más en español, porque en inglés intentaron arreglarlo un poco más. Pero en otros idiomas no les importó tanto porque no son tan visibles. Eso es algo que pasa históricamente, como el traductor de Google en español, que funciona mucho peor a nivel sesgos que el traductor en inglés. Esto es muy interesante y muestra que no es que el modelo aprendió y no está más sesgado.

– Hoy la inteligencia artificial atraviesa cada vez más procesos dentro de las empresas. ¿Cómo influyen concretamente los sesgos algorítmicos en decisiones dentro de las compañías?

Cuando hablamos de los sesgos en la IA estamos hablando de arquitecturas internas dentro de las personas -y de las compañías- que no fueron visibilizadas, que no fueron puestas sobre la mesa, sino que operan en las sombras.

En las charlas que damos desde Nodos traemos la noción de poder y desigualdades de poder en la sociedad, que es un poco más profundo y complejo que hablar solamente de sesgos, que es un término más técnico. Hablar de poder nos muestra que estamos en una sociedad que tiene pujas de poder, que tiene grupos que son más poderosos que otros grupos, que son considerados más valiosos que otros. Y eso se ve en los datos y en cómo estos algoritmos fueron entrenados con ese tipo de datos. Entonces sus predicciones y resultados están muy vinculados a esta idea de poder.

Lo que termina sucediendo es que estos grandes modelos de lenguaje tienen asociaciones vinculadas a lo femenino y lo masculino, a lo que es deseable o no deseable y eso lo aprendieron por datos históricos que estaban en Internet.

Hay un caso muy paradigmático de Amazon, que se descubrió que uno de los algoritmos de inteligencia artificial que habían desarrollado para selección de personal puntuaba muy bajo a las mujeres y muy alto a los hombres y tuvieron que darlo de baja. Y es porque aprendió que en una empresa de tecnología era mucho más deseable ser hombre que ser mujer. Por más que los currículums no tenían la categoría de géneros, hay pistas: por ejemplo, en Estados Unidos hay muchos varones que ponen cuál es el deporte que jugaron en la universidad y entre eso y un par de cosas más podés cruzarlo para decir “este currículum es más masculino que femenino”, por más de que obviamente es una generalización. Entonces la IA dejaba fuera a las mujeres porque los trabajadores de Amazon eran mayoría hombres y suponía que eso era lo deseable.

– ¿Qué buenas prácticas pueden implementar las empresas para usar la IA de manera responsable?

Para mí es muy importante no subirse a la idea de que “todo tiene que tener inteligencia artificial”. Creo que en América Latina estamos un poco atrás en esa carrera, en Estados Unidos y en Europa pasó hace unos años y ahora se está haciendo un poco de marcha atrás.

Si bien hay muchos procesos que van a estar automatizados -mucho vinculado a temas de programación-, no todas las empresas ni todos los rubros tienen que tener sí o sí IA para todo. Entonces la pregunta de “¿hace falta?” es una buena práctica.

Y también preguntarse qué tipo de IA. La IA generativa, por ejemplo ChatGPT, ¿es responsable? ¿Es ética? ¿O queremos usar otros modelos que no estuvieron apropiándose de obras, escritura, arte de otras personas? Ni hablar de los costos ambientales.

Cuando hablamos de buenas prácticas estamos hablando también de responsabilidad. Y esa responsabilidad es poder decir “no para todo ni en todo momento”. A nivel empleados, por ejemplo, es importante no delegar todas las capacidades cognitivas a la inteligencia artificial. Primero porque luego nos puede reemplazar tranquilamente y segundo porque perdemos calidad de trabajo. Se nota en las producciones cuando se delega a la inteligencia artificial. Y después, cuando no podemos hacer tareas como escribir un mail o una hoja entera, estamos ante un problema de delegación de tareas cognitivas que no debería suceder.

Entonces, parte de la responsabilidad es que las empresas puedan acompañar el uso de la IA desde una mirada responsable, regulada y acotada a ciertas tareas. Pensando el costo ambiental y el costo para los empleados.

La IA puede estar buenísima, mirémosla con lentes críticos y usémosla para ciertas cosas, no para todo ni en todo momento. No queremos ser detractores 100%, pero sí entendamos los modelos, cómo los entrenan, cuál es el costo ambiental y cuál es el costo cognitivo en las personas. Y en función de eso, tomemos la decisión.

– ¿Qué respuestas están teniendo por parte de las personas que reciben las charlas que brindan con Nodos? ¿Cuáles son las principales preocupaciones que aparecen?

Hay un manto de desesperanza con estas tecnologías. Había mucha ilusión en un momento de que nos fueran a ayudar a resolver problemas de la humanidad… y si bien hay muchas cosas que sí pueden hacer y en algunas áreas hay avances de automatización que están buenos, las personas están viendo que la IA tiene un montón de problemas.

El comentario general es que la gente no quiere hablar más con robots, queremos más humanidad. Hay muchas personas diciendo “cuando leo un posteo de Linkedin y sé que está hecho con IA dejo de leer”, “cuando me atiende un chatbot grito para que me atienda un humano”. Entonces vamos viendo a la humanidad como un privilegio de algunos y la IA como lo estándar para toda la población.

Por ejemplo, el contenido generado en las publicidades de empresas masivas son con IA, pero las marcas de lujo tienen publicidades hechas por artistas a mano. Estamos viendo esa diferencia y esa saturación vinculada al contenido generado por la inteligencia artificial.

Al principio era un poco gracioso, pero ahora tenemos el miedo constante de que si estamos viendo algo muy lindo sea IA. Una chica decía que dejó de disfrutar los videos de gatitos que le aparecían porque tenía miedo de que fueran falsos.

La verdad que en la recepción de las charlas me sentí un poco menos sola. Y creo que todos nos sentimos menos solos en esto de seguir buscando espacios de humanidad y de encuentro entre personas. No queremos que la entrevista de una empresa nos la haga un bot. Por más de que las personas también están sesgadas y tienen prejuicios que a veces nos pueden jugar muy en contra, la mayoría acuerda en que preferimos darles las herramientas para visibilizar estos sesgos y entender cómo operan.

– ¿Conocés casos en los que la IA pueda utilizarse para promover y potenciar la diversidad, equidad e inclusión dentro de las organizaciones?

Sí, conozco varios casos de diferentes agentes de IA que ofician de supervisores o de auditores de la diversidad o la perspectiva de género, entrenados para ese tipo de detección.

A veces en vez de que sea una persona del equipo la que dice “Che, son todos tipos” o “Faltan personas con discapacidad”, que queda en un lugar medio incómodo de tener que denunciar, está bueno que sea la IA. Entonces acá veo algunas oportunidades, siempre y cuando no sea la única instancia de revisión.

Conozco jueces y juezas que usa la IA para que se fije si una sentencia tiene perspectiva de género en función de ciertos checkpoints. Eso también puede aplicar a publicidad, a temas financieros. Ahí puede ser un complemento muy interesante.

– En el caso de AymurAI, la herramienta que desarrollaste y fue premiada, que utiliza IA para procesar, organizar y anonimizar todo tipo de documentos judiciales, ¿cómo fue el proceso de trabajar con IA desde una perspectiva de género?

La verdad es que estamos muy sorprendidas con el nivel de recibimiento a nivel mundial de esta herramienta. No hay tantas experiencias de creación de inteligencia artificial por parte de sociedad civil en conjunto con gobierno, academia y empresas (quienes desarrollan la IA son startups). Entonces, que estén todos estos actores reunidos en pos de crear una IA de uso público, gratuita, con código abierto para la seguridad y la privacidad de los datos y la creación de datos con perspectiva de género fue muy gratificante. Lo que vimos es que hay muchas guías de uso de responsable, pero faltan ejemplos prácticos de cómo se puede hacer, mostrando que es posible. Este es un proyecto que usa servidores locales, que hace anonimización, armados de base de datos, convierte PDF a Word y ahora estamos armando el módulo de voz a texto para que pueda también transcribir testimonios de víctimas de violencia de género. Son usos muy concretos, algoritmos más pequeños que no requieren millones de litros de agua. Y que también pueden ser instalados en los servidores judiciales para que toda esa información que es tan sensible no se vaya a un servidor de una empresa que no sepamos el día de mañana qué va a hacer con esos datos.