- Jan 2025
-
feministai.pubpub.org feministai.pubpub.org
-
Imagine you are deaf and blind
Imagínate vivir en condición de discapacidad visual y auditiva, dependiendo exclusivamente de otras personas para lograr una traducción del mundo que te rodea.
Tu percepción está moldeada por la información que otros eligen compartir contigo y cómo la interpretan. Esta traducción no es neutral; está impregnada de sesgos, prioridades, y limitaciones.
Los algoritmos de Inteligencia Artificial, actúan como traductores de datos a decisiones y también presentan sesgos. Pero, ¿qué sucede cuando esas traducciones fallan o privilegian ciertas perspectivas sobre otras?
Los algoritmos, en su esencia, son cuerpos digitales que interpretan, procesan y deciden. Sin embargo, estos cuerpos no existen en el vacío. Son creados por humanos, influenciados por sus propias experiencias, limitaciones, y sesgos. En este sentido, la Inteligencia Artificial no solo traduce datos, sino también las prioridades y omisiones de quienes la diseñan.
El sesgo algorítmico es un reflejo directo de cómo ciertos cuerpos son sistemáticamente silenciados o malinterpretados en los datos. Por ejemplo, los sistemas de reconocimiento facial han mostrado tasas significativamente más altas de error al identificar rostros de personas negras o mujeres, lo que deriva en daños irreversibles como acusaciones falsas o vigilancia excesiva. Estos errores no son solo técnicos; son éticos, porque los cuerpos afectados no solo son datos mal clasificados, sino personas que cargan con las consecuencias.
Las decisiones de diseño, como qué categorías incluir o qué diferencias ignorar, traducen las vidas de las personas en formatos legibles para una máquina, pero a menudo lo hacen de forma reductiva. Por ejemplo, nombres o características culturales pueden ser transformados o eliminados debido a limitaciones en la estructura del sistema. Estas decisiones, aunque aparentemente técnicas, tienen implicaciones en la forma en que los cuerpos son reconocidos o desestimados en los espacios sociales y legales.
La traducción sirve como intermediación no sólo lingüística sino como transformara de problemas complejos del mundo real en un modelo simplificado que una máquina pueda procesar. Sin embargo, esta traducción no es neutral ni universal. Es un proceso moldeado por el lenguaje, el contexto cultural, y las prioridades del equipo de desarrollo.
Al igual que en la traducción entre idiomas, traducir problemas sociales en modelos de Inteligencia Artificial implica decisiones sobre qué preservar, qué transformar, y qué descartar. Un equipo de desarrollo que no comprende las complejidades culturales del contexto que está modelando puede introducir sesgos significativos.
En muchas ocasiones, los sistemas de Inteligencia Artificial traducen las identidades humanas en categorías discretas, ignorando las complejas intersecciones de raza, género, clase y otras variables. Por ejemplo, una Inteligencia Artificial diseñada para ser justa con mujeres o con personas negras podría ignorar las experiencias específicas de las mujeres negras, perpetuando la exclusión de aquellos en las intersecciones de estas categorías.
Los algoritmos tienen un impacto físico y tangible en los cuerpos humanos. Desde negaciones de crédito hasta vigilancia injusta, estos sistemas afectan de manera desproporcionada a los grupos marginados.
La diversidad en los equipos de desarrollo debe ir más allá de una métrica. Es esencial incluir las voces y experiencias de aquellos más afectados por los sistemas algorítmicos.
Las decisiones de diseño deben basarse en un profundo entendimiento cultural y social. Esto implica consultar a expertos locales y a las comunidades afectadas para garantizar que la Inteligencia Artificial refleje sus realidades, en lugar de distorsionarlas.
Las instituciones que implementan IA deben abrir sus sistemas a auditorías públicas, permitiendo que las comunidades afectadas cuestionen y revisen los algoritmos que moldean sus vidas.
Ninguna Inteligencia Artificial es neutral ni perfecta. Las empresas deben ser transparentes sobre las limitaciones de sus modelos y educar a los usuarios en la identificación y mitigación de sesgos.
-
-
feministai.pubpub.org feministai.pubpub.org
-
Bias in the data and algorithms
En el contexto de la recolección de datos inclusivos, se puede analizar desde tres perspectivas como puente para comprender realidades diversas, y el uso ético de la Inteligencia Artificial para promover la inclusión.
Corporalidades y sesgos en los datos y algoritmos
Las metodologías de recolección de datos tradicionales han invisibilizado a muchas corporalidades, como los cuerpos de mujeres embarazadas, personas trans y no binarias. Por ejemplo, el diseño de cinturones de seguridad que ignora diferencias corporales aumenta el riesgo de lesiones graves para mujeres. La Inteligencia Artificial, si se basa en datos sesgados, amplifica estas desigualdades, perpetuando narrativas dominadas por parámetros masculinos y blancos.
Los sistemas de clasificación basados en el binario hombre/mujer deben ser replanteados. Incorporar categorías inclusivas en los algoritmos y diseños de recolección de datos es crucial para capturar experiencias interseccionales relacionadas con género, etnia, discapacidad y otras identidades.
Traducción como herramienta de inclusión
Traducir no solo significa adaptar el lenguaje, sino también interpretar las realidades vividas por diferentes corporalidades en contextos sociales y culturales específicos. Por ejemplo, las respuestas de mujeres en redes sociales pueden estar condicionadas por el miedo a amenazas digitales, lo que requiere traducir estas limitaciones en análisis más sensibles.
La traducción de los riesgos y beneficios de la recolección de datos a las comunidades involucradas es esencial para garantizar un consentimiento informado. Esto es especialmente relevante para grupos vulnerables que pueden no comprender completamente cómo se utilizarán sus datos.
Inteligencia Artificial como aliada para la inclusión y la ética
La Inteligencia Artificial puede combinar datos tradicionales y no tradicionales para ofrecer información y corregir desigualdades. Sin embargo, el diseño de algoritmos debe incluir parámetros que reflejen normas sociales y realidades políticas, considerando los desafíos específicos de las mujeres y niñas.
La intersección de big data y la Inteligencia Artificial plantea desafíos éticos en términos de privacidad. Las tecnologías deben garantizar la anonimización de datos y prevenir su mal uso para dañar a comunidades vulnerables. Iniciativas como las directrices del UNDG enfatizan la necesidad de marcos normativos que protejan la privacidad y promuevan el consentimiento informado.
Para lograr una verdadera transformación, los gobiernos y organizaciones deben invertir en personal técnico capacitado y promover colaboraciones público-privadas que aprovechen el big data para el bien común. Esto incluye proyectos de recopilación de datos enfocados en feminismos interseccionales y en visibilizar a las corporalidades históricamente excluidas.
-
Addressing problems of traditional data collection
Superar las limitaciones de los métodos tradicionales de recopilación de datos mediante enfoques inclusivos y feministas incluye la consideración de cuerpos diversos, la sensibilidad cultural y lingüística en la traducción de datos, y el uso de Inteligencia Artificial para identificar y corregir sesgos inherentes.
Corporalidades y sesgos en la recopilación de datos
Los métodos tradicionales tienden a homogeneizar las experiencias corporales, ignorando diferencias relacionadas con género, identidad no binaria, edad, condición de discapacidad, o situación socioeconómica. Esto invisibiliza las realidades de las mujeres y otros grupos marginados.
Los datos recopilados a nivel de hogar ignoran desigualdades dentro del mismo, lo que perpetúa la invisibilización de corporalidades y experiencias individuales. Por ejemplo, las contribuciones económicas de mujeres y niñas suelen ser subestimadas o ignoradas.
Las corporalidades en situaciones de vulnerabilidad extrema, como mujeres refugiadas, personas trans y no binarias, enfrentan mayores riesgos de ser omitidas. Estas exclusiones limitan la capacidad de crear políticas que respondan a sus necesidades.
Traducción como mediadora inclusiva
El diseño de preguntas en las encuestas refleja sesgos culturales y de género, lo que perpetúa desigualdades. Por ejemplo, las preguntas que asumen roles tradicionales, como identificar a una mujer como “ama de casa” sin considerar su trabajo remunerado, invisibilizan sus contribuciones económicas. Traducir estos términos con sensibilidad feminista puede ayudar a visibilizar estas realidades.
La traducción debe permitir incorporar categorías de género inclusivas, como “no binario” o “otra”, asegurando que los datos reflejen corporalidades no normativas y realidades locales.
Inteligencia artificial como herramienta inclusiva
La Inteligencia Artificial puede identificar y mitigar sesgos en el diseño de encuestas y en la recopilación de datos al analizar patrones de exclusión. Por ejemplo, puede destacar cómo ciertas preguntas excluyen a las mujeres trans o no binarias al imponer categorías binarias de género.
Los algoritmos pueden descomponer datos por variables interseccionales, como género, edad, ingresos y etnicidad, para revelar desigualdades invisibles en los métodos tradicionales. Esto incluye medir desigualdades dentro de los hogares y entre grupos marginados.
La Inteligencia Artificial puede utilizar fuentes de datos no tradicionales, como redes sociales o sensores, para captar experiencias de corporalidades excluidas en contextos conflictivos o difíciles de alcanzar con métodos estándar.
-
Bias exists in current data collection practices, leaving women and girls invisible in the data.
Los sesgos en la recopilación de datos y la invisibilización de mujeres y niñas puede relacionarse profundamente con corporalidades, traducción e Inteligencia Artificial.
Corporalidades y recopilación de datos
La invisibilidad de corporalidades diversas en los métodos tradicionales de recopilación de datos tienden a generalizar los cuerpos de las mujeres y niñas, omitiendo diferencias significativas como raza, etnicidad, identidad de género, condición de discapacidad o edad. Un enfoque feminista desvirtuaría estos datos para representar estas corporalidades y sus experiencias específicas.
Los sesgos en tecnologías biométricas y sensores en la Inteligencia Artificial analizan datos corporales, como reconocimiento facial o monitoreo de salud, a menudo fallan en captar la diversidad de cuerpos femeninos o marginados, reforzando estereotipos y exclusión.
Traducción como puente inclusivo
El lenguaje inclusivo en la recopilación de datos, al traducir encuestas, análisis o resultados, se corre el riesgo de eliminar términos culturalmente específicos como los culturemas que reflejan la diversidad de corporalidades y experiencias. Por ejemplo, conceptos relacionados con género o identidad corporal en un idioma pueden no tener equivalentes exactos en otro, lo que invisibiliza problemáticas clave.
La interpretación del significado en la traducción de datos requiere una sensibilidad cultural y feminista que respete las diferencias lingüísticas y semánticas de cómo las corporalidades y el género son comprendidos en distintos contextos. Sin esta sensibilidad, la traducción puede reforzar las inequidades en lugar de corregirlas.
Inteligencia Artificial (IA) y recopilación feminista de datos
Las oportunidades en la Inteligencia Artificial tiene un enorme potencial para analizar grandes volúmenes de datos de manera desagregada, identificar patrones de exclusión y ampliar el uso de fuentes no tradicionales (como redes sociales, sensores, y datos de dispositivos móviles). Esto podría visibilizar experiencias de mujeres y niñas que antes eran ignoradas.
Los riesgos de sesgos algorítmicos sucederían si los algoritmos de Inteligencia Artificial son entrenados con datos históricos sesgados, replicarán esas inequidades. Esto incluye subrepresentar corporalidades no normativas o ignorar contextos culturales específicos al interpretar datos traducidos.
El diseño interseccional sirve para superar estas limitaciones, los algoritmos deben diseñarse con principios feministas que incluyan parámetros explícitos para identificar y corregir sesgos relacionados con género y corporalidades diversas.
- Preguntas críticas para la recopilación inclusiva de datos
Las preguntas pueden adaptarse para incluir corporalidades, traducción e IA:
• ¿Quién define qué corporalidades son relevantes y cómo se representan en los datos? • ¿Quién traduce y cómo garantiza que las voces de las mujeres y niñas sean fielmente representadas? • ¿Cómo asegura la IA que los datos desagregados reflejen experiencias interseccionales y no perpetúen exclusión? • ¿Quién decide qué fuentes de datos se utilizan y con qué criterios éticos?
Hacia una Inteligencia Artificial inclusiva
Una Inteligencia Artificial de recopilación de datos verdaderamente inclusiva debe:
1. Diseñar encuestas y procesos de recopilación que reconozcan la diversidad de corporalidades y vivencias. 2. Incorporar traducciones que respeten el contexto cultural y lingüístico, permitiendo que los datos capturen las realidades de mujeres y niñas en distintos entornos. 3. Utilizar IA para integrar fuentes de datos no tradicionales, asegurando que los modelos sean revisados constantemente para mitigar sesgos algorítmicos. 4. Basarse en principios feministas que guíen cada etapa del proceso, desde la definición del problema hasta el uso de los datos.
-
-
feministai.pubpub.org feministai.pubpub.org
-
AI as a Software
Las corporalidades, la traducción y la inteligencia artificial son creados para interpretar y operar, amplifican y perpetúan los sesgos sociales que definen tanto la representación como la interacción de los cuerpos en el ámbito tecnológico. Se entretejen las nociones de traducción como la adaptación o interpretación de las corporalidades humanas al lenguaje de los datos, y la ética de la Inteligencia Artificial, en la que se abordan los sesgos en la sociedad.
La traducción con Inteligencia Artificial “traduce” las corporalidades humanas a datos estructurados mediante procesos de entrenamiento que dependen de patrones en los datasets. Sin embargo, esta traducción es imperfecta y limitada.
Las corporalidades humanas, con sus matices de diversidad cultural, étnica, de género y funcionalidad, son codificadas en un espacio de datos reducido, lo que deja fuera muchas experiencias humanas.
La Inteligencia Artificial no sólo traduce, sino que también amplifica los sesgos presentes en los datos. Un sistema entrenado con imágenes que asocian género con profesiones perpetuará estos estereotipos, traduciéndolos como “verdades” tecnológicas.
La Inteligencia Artificial, al comportarse como un software “inteligente”, plantea desafíos únicos que afectan cómo las corporalidades son representadas, a diferencia de un software tradicional, los resultados de la Inteligencia Artificial cambian con el tiempo y el contexto, lo que dificulta crear métricas fijas para medir su sesgo. Esto afecta directamente cómo los cuerpos son clasificados o reconocidos.
En lugar de reconocer la fluidez de las identidades humanas, los sistemas de Inteligencia Artificial suelen fijar a las corporalidades en etiquetas binarias (“hombre” o “mujer”), dejando fuera identidades LGBTQ+.
La comprensión y mitigación de sesgos en la Inteligencia Artificial requiere un enfoque interdisciplinario que reconozca las complejidades sociales y culturales de las corporalidades.
Las ciencias sociales pueden aportar conceptos de sesgo y equidad que guíen la creación de métricas en la Inteligencia Artificial. Redefinir cómo los sistemas interpretan y categorizan las corporalidades más allá de los parámetros normativos.
La introducción de herramientas como REVISE y datasets como el Pilot Parliament Benchmark marcan un paso hacia la evaluación de sesgos, pero aún no abordan la diversidad completa de las corporalidades.
La Inteligencia Artificial puede entenderse como una traducción cultural que convierte dinámicas humanas en procesos computacionales, la traducción de las corporalidades al ámbito de la Inteligencia Artificial no es neutral, ya que refleja los valores y prejuicios de quienes crean los sistemas y los datasets. Este proceso requiere una revisión ética que considere cómo las decisiones de diseño afectan a las poblaciones marginalizadas.
Resolver estos desafíos exige la colaboración entre disciplinas (ciencias sociales, legales, matemáticas, etc.) y geografías como las cartografías, reconociendo que las corporalidades humanas son interpretadas de maneras distintas según el contexto cultural.
La interacción entre la Inteligencia Artificial y las corporalidades tiene consecuencias profundas que van más allá de los sesgos técnicos, si los sesgos en la Inteligencia Artificial no se mitigan, las tecnodiversidades podrían institucionalizar discriminaciones sociales, afectando cómo ciertos cuerpos son vistos, valorados o incluso controlados.
En un mundo donde la Inteligencia Artificial tiene un impacto cada vez mayor, es esencial que todos los sectores de la sociedad trabajen juntos para garantizar que las tecnologías no perpetúen ni amplifiquen las desigualdades existentes.
-
we shall see how AI algorithms, when trained on these datasets, pick up these biases and amplify them, leading to biased AI systems.
La Inteligencia Artificial y las corporalidades no solo tiene implicaciones técnicas, sino que también expone dinámicas culturales y sociales que determinan cómo los cuerpos son interpretados y clasificados.
El predominio de rostros blancos en datasets como Rostros Etiquetados en la Naturaleza (LFW por su sigla en inglés) crea modelos que reconocen con precisión a personas blancas, pero fallan al identificar a personas de otras razas. Esto marginaliza a cuerpos no blancos, reduciendo su visibilidad tecnológica y reproduciendo jerarquías raciales.
La tendencia de los modelos a asociar características específicas con ciertos grupos (como mujeres en la cocina u hombres en el garaje) refleja cómo las corporalidades son codificadas de manera sesgada en los datos y amplificadas por la Inteligencia Artificial.
El proceso de entrenamiento de la Inteligencia Artificial puede considerarse una forma de traducción algorítmica, donde las corporalidades son reducidas a patrones y etiquetas.
Los modelos tienden a generalizar patrones, lo que significa que las corporalidades que no se ajustan a los estándares dominantes (por ejemplo, caras racializadas o cuerpos fuera de las normas hegemónicas) son malinterpretadas o invisibilizadas.
Durante el entrenamiento, los modelos reciben “recompensas” por predecir correctamente según el dataset. Si el dataset es sesgado, las predicciones correctas refuerzan esas generalizaciones erróneas, consolidando una visión limitada y parcial de las corporalidades.
El uso de métricas como la precisión para evaluar modelos sesgados resalta una desconexión entre la eficiencia técnica y la justicia social, un modelo que alcanza un 85% de precisión al reconocer rostros blancos en un dataset dominado por estas imágenes no es verdaderamente eficiente; simplemente está optimizado para perpetuar el sesgo del dataset.
La creación de datasets verdaderamente diversos y la reformulación de cómo los modelos interactúan con las corporalidades son pasos esenciales para evitar la amplificación de sesgos.
Un dataset diverso no solo debe incluir representaciones equilibradas de diferentes razas y géneros, sino también considerar otras dimensiones de la identidad, como la edad, si tiene alguna condición de discapacidad y los culturemas.
La Inteligencia Artificial debe integrar mecanismos que detecten y mitiguen sesgos inherentes, evitando la reproducción de inequidades.
Incorporar perspectivas interseccionales permite a la Inteligencia Artificial considerar cómo múltiples formas de identidad se cruzan y afectan la representación de las corporalidades.
-
Deep learning models require huge amounts of data for training
Las corporalidades, la traducción y la Inteligencia Artificial se encuentra en el análisis de cómo los datos utilizados para entrenar modelos de aprendizaje profundo reproducen y amplifican las construcciones sociales y culturales relacionadas con los cuerpos humanos.
Los datasets visuales como ImageNet o OpenImages, usados para entrenar modelos de visión por computadora, refuerzan nociones específicas de las corporalidades.
La mayoría de las imágenes están sesgadas hacia cuerpos blancos, lo que genera problemas de reconocimiento en cuerpos racializados. Los sistemas de reconocimiento facial identifican incorrectamente rostros negros cinco veces más que blancos, lo que evidencia una invisibilización sistémica de las corporalidades no occidentales.
Las imágenes etiquetadas tienden a asociar ciertos objetos o contextos con corporalidades específicas. Los cosméticos o las flores están sobrerrepresentados con mujeres, mientras que herramientas e instrumentos suelen estar vinculados con hombres. Esto reproduce constructos culturales que refuerzan la pasividad femenina y la agencia masculina.
La traducción, como intermediación cultural, es fundamental en la creación de datasets. Sin embargo, este proceso está mediado por quienes etiquetan los datos.
La mayoría de los etiquetadores (Amazon Mechanical Turk) provienen de países occidentales, lo que lleva a una interpretación culturalmente limitada de las imágenes. Esto impacta cómo se codifican corporalidades de otras culturas, generando traducciones parciales o erróneas.
La falta de diversidad en los datasets traduce las experiencias corporales en un marco único, al homogeneizar las diferencias culturales, raciales y de género. Esto no solo afecta la precisión técnica de la traducción, sino que también tiene consecuencias éticas y sociales.
La Inteligencia Artificial traduce las corporalidades en patrones que pueden perpetuar desigualdades como en el caso de las imágenes etiquetadas, las mujeres son frecuentemente observadoras pasivas, mientras que los hombres interactúan con objetos o son asociados con roles de liderazgo. Esto reproduce construcciones culturales que vinculan el poder con la masculinidad.
Los intentos de capturar la diversidad en datasets como Pilot Parliament Benchmark o Fair Face son limitados porque intentan traducir muchas experiencias corporales a un marco normativo preexistente.
Incluir comunidades subrepresentadas en el diseño, etiquetado y curación de los datos.
Adoptar herramientas para detectar y corregir sesgos en las etiquetas, asegurando que las corporalidades no sean traducidas desde marcos reductivos.
Incorporar múltiples dimensiones de identidad (género, raza, clase, etc.) para evitar simplificaciones excesivas.
La relación entre las corporalidades, la IA y la traducción no solo implica reconocer los sesgos inherentes a los datos, sino también repensar cómo las tecnologías representan y traducen las experiencias humanas.
-
-
feministai.pubpub.org feministai.pubpub.org
-
Inherent bias in hiring
El algoritmo se autoenseñó a penalizar cualquier currículum que incluyera la palabra “mujeres”, como “capitana del club de ajedrez femenino” en el texto, y degradó los currículums de mujeres que asistieron a dos “universidades para mujeres”.
Esto se debe a que los datos de entrenamiento que contienen sesgo humano o discriminación histórica crean un bucle de profecía autocumplida donde el aprendizaje automático absorbe el sesgo humano y lo replica, lo incorpora a decisiones futuras y convierte el sesgo implícito en una realidad explícita.
-