Los sistemas detrás de la inteligencia artificial revelan prejuicios arraigados que pueden influir negativamente en las percepciones y comportamientos de la sociedad.
Escrito por Tactical Tech. Este artículo fue escrito por Safa Ghnaim en colaboración con el Goethe-Institut Brasil y se publicó originalmente en DataDetoxKit.org. Global Voices reprodujo una versión editada en advox.globalvoices.org el 3 de abril de 2025, bajo un acuerdo de colaboración.
Aunque pueda parecer una «tecnología neutral», la inteligencia artificial (IA) también tiene sesgos: no es la herramienta objetiva que se cree que es. La IA la diseñan personas y entrenan con conjuntos de datos. Al igual que tú, quienes la construyen tienen creencias, opiniones y experiencias que influyen en sus decisiones, sean conscientes o no. Los ingenieros y las empresas que programan y entrenan la IA pueden pensar que alguna información o algunos objetivos son más importantes que otros. Dependiendo de los conjuntos de datos que «alimenten» a las herramientas de IA que crean, como algoritmos o chatbots, esas máquinas podrían ofrecer resultados sesgados. Por eso la IA puede generar datos inexactos, generar suposiciones erróneas o tomar las mismas malas decisiones que una persona.
La IA no es magia: las máquinas programadas por personas tienen sus fallas
Algunos hablan de la IA como si fuera magia, pero «inteligencia artificial» es, sencillamente, una máquina. En términos simples, las herramientas de IA son programas informáticos que han sido alimentados con gran cantidad de datos para que puedan hacer predicciones. «IA» se refiere a diversas herramientas diseñadas para reconocer patrones, resolver problemas y tomar decisiones a una velocidad y escala mucho mayores de lo posible para los humanos.
Pero, como cualquier herramienta, la IA la diseñan y programan humanos. Quienes crean estas máquinas les dan reglas que deben seguir: «Haz esto, pero no hagas aquello». Saber que las herramientas de IA son sistemas automatizados con limitaciones influenciadas por los humanos puede darte más confianza para hablar sobre sus fortalezas y desventajas.
Cuando las personas hablan de IA, podrían estar hablando de muchas cosas. A continuación un listado de herramientas populares de IA, con algunas de sus fallas.
Las herramientas de generación de texto crean contenido que se basa en algunas palabras clave (o «indicaciones») que el usuario define. Están entrenadas con grandes cantidades de texto de calidad variable proveniente de internet. Se las llama «grandes modelos de lenguaje» (LLM, sus siglas en inglés) o por nombres de productos específicos como ChatGPT, o incluso términos más casuales como chatbots o «asistentes de IA». Aunque estas herramientas han logrado realizar hazañas de inteligencia humana, como aprobar exámenes, también son conocidas por «alucinar«, lo que significa que también generan contenido inexacto.
Las herramientas de generación de imágenes crean fotos o videos sobre la base de algunas palabras claves previamente definidas. Se las llama modelos de texto a imagen, o se las conoce también por nombres de productos específicos como DALL-E o Stable Diffusion. Estas herramientas pueden producir imágenes y videos increíblemente realistas, pero también son conocidas por reducir el mundo a estereotipos y ser utilizadas para sextorsión y acoso.
Los sistemas de recomendación muestran contenidos que «predicen» la probabilidad de que les hagas clic o interactúes con ellos. Estos sistemas están trabajando en segundo plano en motores de búsqueda, fuentes de redes sociales y reproducción automática en YouTube. También se los denomina algoritmos. Estas herramientas pueden mostrarte contenido sobre el que tienes interés, aunque también pueden empujarte a sitios peligrosos. Los sistemas de recomendación se utilizan para tomar decisiones importantes como contrataciones laborales, admisiones universitarias, préstamos hipotecarios y otros rubros de la vida diaria.
Aunque algunos expertos creen que las herramientas de IA, como los chatbots, se están «volviendo más inteligentes» por sí solas; otros dicen que están repletas de errores. Aquí algunas razones para pensar en los sesgos detrás de la IA:
- Algunos de los datos con los que se entrenan podrían ser personales, tener derechos de autor o ser usados sin permiso.
- Dependiendo de los conjuntos de datos, podrían estar llenos de discursos de odio, teorías conspirativas, o información que simplemente es incorrecta.
- Los datos pueden estar sesgados contra algunas personas, géneros, culturas, religiones, empleos o circunstancias.
Las herramientas de IA también se entrenan con datos que dejan completamente fuera de consideración algunos elementos. Si hay poca o no hay información sobre un grupo de personas, un idioma o una cultura en los datos de almacenamiento, la herramienta no podrá generar respuestas al respecto. Un estudio clave de 2018 de Joy Buolamwini llamado Gender Shades (Matices de género) detectó cómo los sistemas de reconocimiento facial tenían dificultades para identificar los rostros de personas de color, especialmente mujeres negras. Cuando se hizo el estudio, estas herramientas defectuosas ya los había utilizado rutinariamente la Policía en Estados Unidos.
Poner atención el foco en los sesgos para evitar reproducirlos
Ahora que sabes algunas de las debilidades que pueden existir en los conjuntos de datos de IA, que son construidos por personas como nosotros, echemos un vistazo a nosotros mismos. ¿Cómo puede la forma en que funcionan nuestros cerebros humanos arrojar luz sobre los sesgos de la IA?
Existen algunos sesgos que están profundamente arraigados en personas, organizaciones, culturas y sociedades. Es posible revelarlos si se reflexiona sobre estas preguntas:
- ¿Cómo esperas que los demás se presenten a sí mismos, incluyendo cómo se comportan, se visten y se expresan?
- ¿Hay algún grupo que enfrente mayores riesgos, castigos o estigmatización por su apariencia, su forma de comportarse, su vestimenta o su manera de hablar?
Estos sesgos sobre los que acabamos de reflexionar, a menudo dependen de suposiciones, actitudes y estereotipos que han formado parte de las culturas durante mucho tiempo y que pueden influir en la toma de decisiones de manera inconsciente. Por eso se les llama «sesgos implícitos»: a menudo están integrados en la forma de pensar, son difíciles de detectar y resultan incómodos de confrontar.
Los sesgos implícitos más comunes incluyen:
- Sesgo de género: la tendencia a sacar conclusiones sobre personas de diferentes géneros por prejuicios o estereotipos.
- Sesgo racial o étnico: la tendencia a sacar conclusiones sobre personas por el color de su piel, su trasfondo cultural o su etnia.
Harvard tiene una gran biblioteca de pruebas de sesgo implícito de libre acceso en línea con las cuales puedes ver en qué situación estás y en qué rubros puedes mejorar. Con muchos sesgos implícitos, puede parecer incluso imposible identificar esas creencias. Es poco probable que suceda de la noche a la mañana, pero ¿por qué no empezar ahora?
Todo se magn(ia)fica
Ahora que has visto ejemplos comunes de estos patrones de pensamiento y sesgos implícitos, imagina cómo se verían a una escala mucho mayor. Los patrones de pensamiento y los sesgos implícitos como estos pueden afectar a personas, y también a grupos de personas, especialmente cuando se «codifican» en los sistemas informáticos.
Con el software gratuito de generación de imágenes de texto a imagen Perchance.org, la indicación “mujer hermosa” genera los siguientes resultados:
Imágenes generados por IA en Perchance.org el 13 de agosto de 2024. Imágenes cortesía de Tactical Tech.
Si la herramienta creó seis imágenes de «mujeres hermosas», ¿por qué todas se ven casi idénticas?
Prueba tú mismo; ¿tus resultados son diferentes?
Hay estudios más profundos sobre este tema, con resultados similares. Puedes leer sobre uno de esos estudios y ver infografías aquí: Los humanos tienen sesgos. La IA es mucho peor.
Las herramientas de IA no son neutrales ni imparciales. Son propiedad de personas que tienen sus propias motivaciones. Incluso las herramientas de IA denominadas “abiertas” no son necesariamente transparentes sobre cómo funcionan y pueden haber sido programadas con sesgos integrados.
Puedes hacer preguntas críticas sobre cómo se construyen y entrenan los modelos de IA para tener una idea de cómo la IA es parte de un sistema más grande:
- ¿Quiénes son los propietarios de las empresas que crean los modelos de IA?
- ¿Cómo se benefician estas empresas?
- ¿Cuáles son los sistemas de poder creados o mantenidos por las empresas?
- ¿Quiénes son los mayores beneficiarios de las herramientas de IA?
- ¿Quién está en mayor riesgo de ser perjudicado por estos sistemas de IA?
Las respuestas a estas preguntas pueden ser difíciles o imposibles de encontrar. Eso por sí mismo es muy significativo.
Dado que la tecnología la crean personas y la alimentan datos (que también son recolectados y etiquetados por personas), podemos pensar en la tecnología como un espejo de los problemas que ya existen en la sociedad. Y podemos contar con el hecho de que las herramientas impulsadas por IA refuerzan los desequilibrios de poder y sistematizan y perpetúan los sesgos, pero de manera más rápida que nunca.
Como hemos visto, los patrones de pensamiento defectuosos son totalmente normales y todos los tenemos de una u otra manera. Empezar a enfrentar esta realidad hoy puede ayudar a evitar errores mañana, y puede ayudar a identificar fallos dentro de algunos sistemas, como la IA.