Home / Area / DOCTRINA EN DOS PAGINAS Diario DPI Suplemento Derecho y Tecnologías Nro. 84 – 09.06.2021


DOCTRINA EN DOS PAGINAS

Perspectiva de género en las nuevas tecnologías. El problema de los sesgos

Por Nieves Macchiavelli

[1]

Resumen

Al flagelo de la violencia de género no le es ajeno la llegada de las nuevas tecnologías disruptivas como, por ejemplo, la Inteligencia Artificial.

La discriminación digital basada en género no es producto de la tecnología ni puede ser atribuida a una técnica en particular, aunque sí la Inteligencia Artificial puede provocarla con más facilidad cuando, esta, es desarrollada para obtener resultados sin la adecuada intervención humana.

Los sesgos algorítmicos tienen, como antecedente inmediato, a los sesgos humanos los que, a su vez, se gestan en el proceso humano de toma de decisiones, replicándolos.

Por ello, para que la tecnología no sea un vehículo más que facilite la discriminación digital de género, es necesaria la intervención humana con perspectiva de género en cada paso del proyecto creativo. Ello, de la mano de equipos multidisciplinarios, con diversidad de etnias, géneros y saberes.

Palabras Clave:

Tecnología. Inteligencia Artificial. Discriminación. Género. Sesgos. Intervención humana. Equipos multidisciplinarios.

1.- Introducción

Las mujeres, por el solo hecho de serlo, padecemos discriminación y violencia específica de parte de algunos varones. Y no es que el ejercicio de esa violencia tenga un género asignado, sino que, el género mujer en sí, padece una violencia específica construida sobre las referencias socioculturales que llevan a los hombres a controlarlas, y a considerarse legitimados para agredirles (Lorente Acosta, 2014)[2]. Por ello, cuando hablamos de violencia de género, debemos ser muy categóricos y claros en transmitir que se trata de una enfermedad de tipo social y cultural que sufren las mujeres, que se ha ido gestando y ha evolucionado a lo largo de los siglos a partir de un modelo de asignación y de reproducción de roles asociados al género.

Según Lorenzo Hernández (2016) para comprender el fenómeno de la violencia masculina sobre las mujeres es necesario analizar los factores que han contribuido a su desarrollo y mantenimiento, y que la han legitimado social y culturalmente. Así, el autor describe el sistema de valores y creencias que ha ido caracterizando a las sociedades patriarcales, a partir de la construcción de un desequilibrio de poder entre sexos como algo natural, posicionando a los varones como superiores por naturaleza y, por tanto, confiriéndoles el derecho y la responsabilidad de dirigir a las mujeres (posición en Kindle 770-779).

La asignación de roles sobre la cual sienta sus bases la violencia basada en género, ha podido echar raíces gracias al aporte de lo que Pérez Fernández (2014) denomina “La mediación cultural” (posición en Kindle 125). Y ello es cierto. Comenzando por la ciencia, las religiones monoteístas, la mitología, la literatura, la educación, el cine, la publicidad, la música e, incluso, la discusión tan resistida sobre el uso del lenguaje[3], casi todas las sociedades se valen de todos esos elementos culturales como medios vehiculares para enseñar y retransmitir un modelo que genera desigualdades y violencia. Correlato de ello, hoy día nos enfrentamos a una lacra cultural gigante de tipo pandémica (Naciones Unidas, 2016)[4]: la violencia de género.

A este estado de situación, la llegada de las nuevas tecnologías cada vez más sofisticas y disruptivas, por caso la Inteligencia artificial, en adelante IA y a la cual me referiré muy puntualmente, no se encuentran al margen del contexto descripto. Es que, cuando los desarrollos tecnológicos portan sesgos contra las mujeres, ocurre lo impensado: otra vez la perpetuación del modelo y la vulnerabilidad de las mujeres, pero, esta vez, a consecuencia del uso de las tecnologías. Por mencionar un ejemplo, el caso del reclutador inteligente que discriminaba a las mujeres para el ingreso a la compañía Amazon. Según se explicó, el sistema creado seleccionaba los perfiles a partir de patrones de cómo había elegido a candidatos en los últimos 10 años, los cuales en la mayoría habían sido varones (Aguayo 2018)[5].

Cuando ello ocurre, vaya que es un verdadero problema y un desvío de utilidades pues, no se niega que las nuevas tecnologías son herramientas extraordinariamente útiles con un especial lado luminoso. Tal es el caso de Pretoria, un algoritmo utilizado por la Corte Constitucional de Colombia que cambió extraordinariamente los tiempos y las formas para la tramitación de los expedientes judiciales (Ámbito, 2020)[6]. Pero, aun avalando que las nuevas tecnologías nos sirvan para fortalecer instituciones o, para concretizar cada vez más las expectativas de las personas humanas, lo cierto es que estaremos de acuerdo en que, estas, bajo ningún concepto, pueden resultar ser otra                                                                                                                                     herramienta que vehiculice o posibilite, el refuerzo de los sesgos culturales ya existentes contra las mujeres.

  1.1. Objetivos

El presente trabajo busca analizar con perspectiva de género las nuevas tecnologías, a partir del análisis de los sesgos.

1.2. Resultados esperados

Con este este estudio, se pretende vincular la violencia de género con las tecnologías disruptivas, conceptualizando las mismas y analizando cómo se gestan los sesgos de género, de qué se nutren y cómo es posible abordar el problema para evitar que, las tecnologías, sean un vehículo de discriminación hacia las mujeres.

Se pondrá el foco en demostrar urgente necesidad de incorporar perspectiva de género humana en el uso de las nuevas tecnologías como solución al problema de los sesgos de género sobre la base de tres premisas: uso adecuado, estratégico e intervención humana de la mano de equipos multidisciplinarios con perspectiva y formación en género.

 2.-Fundamentación teórica. Revolución 4.0 y mujeres. Contexto digital

Al tránsito de la 4ta. revolución industrial, se nos suma un nuevo escenario pandémico: el del Covid-19. En este contexto, las personas humanas, como nunca antes, nos vemos interactuando a diario con las más variadas y sofisticadas tecnologías. Sin embargo, esta aceleración e inmersión notable hacia su uso, puede que mantenga su costado negativo en lo que a discriminación hacia las mujeres refiere (Macchiavelli-Cinalli, 2020, p. 1). Básicamente, porque, debido a la escasa o nula perspectiva de género en la tecnología, a través de estas se mantienen y perpetúan los clásicos estereotipos de género. Por ejemplo, desde hace ya un tiempo, y con la llegada de lo que se conoció como internet of things para aludir con ello a la interconexión digital entre dispositivos (Alonso, 2020)[7], los electrodomésticos comenzaron a hablarnos utilizando por regla voces femeninas para dirigirse al usuario. La inteligencia artificial, por su parte, también propone el uso de chatbots o de asistentes virtuales con el uso predeterminado de voces femeninas y con nombre de mujer –Siri-Alexa-Cortana, entre otros-, lo que viene a perpetuar los clásicos estereotipos de género que asocian lo servicial y lo doméstico con las mujeres. Ello, desde luego tiene todo que ver con la escasa formación en diversidad y género de parte de los equipos desarrolladores.

En efecto, Apple, solo por dar un ejemplo, comenzó creando su asistente virtual Siri con voz femenina, sin dar mayor explicación además sobre porqué esta debía tener nombre de mujer. Amazon, otro ejemplo, adujo haber probado inicialmente con todo tipo de voces, masculinas y femeninas, pero luego, se inclinaron por el uso de una voz que transmitiera una personalidad agradable, cálida, inteligente y capacitada (Daniel, 2019).[8]

Pasaron algunos años, y hoy parece que lo inherente al uso de las voces ya es una cuestión pasada, en tanto la mayoría de los desarrolladores ya ofrecen la posibilidad de configurarse con voz masculina. Aunque, siendo sinceros, en lo que a igualdad y no discriminación refiere, por el momento el ofrecimiento parece ceñirse a una concepción binaria, es decir configuraciones femeninas o masculinas, no otorgando posibilidad de configurarse voces con decibeles que no se asocien a un género específico, lo que también viene siendo materia de reclamo. Por ejemplo, la propuesta de “Q” resulta ser un anticipo de lo que se vendrá (Pérez, 2019)[9]. Y, en lo que aspecto humano refiere, pocos desarrollos ofrecen la posibilidad de registrarse o loguearse con una figura humana “no binaria”, como es el caso de la App Réplika. 

2.1. El caso de la inteligencia artificial. Particular impacto en género

Expuesto lo anterior, es preciso detenernos muy especialmente en lo que sucede con el uso de la IA, pues, a diferencia de otras tecnologías, esta viene siendo observada con ciertos reparos debido al impacto negativo que es capaz de provocar sobre los derechos humanos. Tanto así que, a diferencia de lo que ocurre con otras tecnologías, se ha visto la necesidad de regular ciertos aspectos de esta y marcar estándares de funcionamiento. Es el caso de la Unión Europea (2020)[10] y la Organización para la Cooperación y Desarrollo Económico (2019)[11]. Esta última, estableció principios donde la IA tiene que respetar los derechos humanos, la diversidad y estar encabezada por la transparencia y una divulgación responsable. Particularmente, en lo que a cuestiones de género refiere, en un reciente informe publicado por la Unesco (2020), se afirma que “los sesgos de género que persisten en los conjuntos de datos, algoritmos y dispositivos de capacitación de la inteligencia artificial tienen el potencial de propagar y reforzar estereotipos de género”.

Dado ello, a fin de abordar la especial problemática que presenta la inteligencia artificial en general y, respecto de los sesgos de género en particular, deviene necesario, primeramente, conocer detalladamente la IA.

En términos generales, puede decirse que la IA es una familia de técnicas que son utilizadas para simular o recrear la inteligencia humana a través de las ciencias computacionales.

En la práctica, lo que en general se busca, es que los sistemas nos brinden velocidad de procesamiento y de clasificación de datos, dándonos respuestas o propuestas rápidas, a partir de simular procesos de razonamiento humano.

Se sostiene que el concepto de inteligencia artificial data de 1956, a partir del «Proyecto sobre Inteligencia Artificial» en Dartmouth College, EEUU, y que también el razonamiento humano artificial se remonta al trabajo del matemático Alan Turing, como también a los modelos matemáticos de las neuronas de McCulloch y Pitts (Mattamala Aravena, 2016 p. 26). Por eso, más allá de lo complejo que puede resultar conceptualizar a la IA, en un sentido amplio se dice que se trata de máquinas capaces de aprender, razonar y actuar por sí mismas (Hao, 2019)[12]

Se suele diferenciar la IA débil de la IA fuerte la cual, aún, no ha sido creada (Corvalán 2020, p 34/39). Por tanto, concentrándonos en las funcionalidades de la IA débil hoy disponible, es necesario detenernos a diferenciar sobre cuáles son sus formas de funcionamiento para comprender cómo esta puede impactar en las cuestiones de género.

Por un lado, existe una forma de entrenamiento que se denomina aprendizaje automático. Se trata de un tipo de inteligencia artificial que proporciona a las computadoras la capacidad de aprender, sin ser programadas explícitamente al exponerse a nuevos datos (TechTarget, 2017) [13].

El aprendizaje automático, a su vez, puede ser supervisado –por la propia máquina-, trabajando con datos de los que aprende asignar una etiqueta de salida (Recuero de los Santos, 2017). Si, por el contrario, no dispone de datos etiquetados, la máquina infiere del conjunto de datos mediante asociaciones de manera no supervisada. Y, si entrenamos al algoritmo a partir de la prueba y el error, se le llama aprendizaje por refuerzo. El ejemplo de esta forma de aprendizaje tuvo lugar cuando el algoritmo Alphago le ganó al campeón mundial del juego Go (Lake, 2017)[14].

El aprendizaje automático tiene la variable del aprendizaje profundo –Deep learning.  Esta forma de entrenamiento sofisticado, aprende usando una red neuronal artificial, asignando un número de niveles jerárquicos. Así, en el nivel más bajo, la red aprende algo simple y envía esa información al siguiente nivel. En el siguiente nivel, se toma esa información y la combina, por lo que tendrá una información algo más compleja, y así sucesivamente se va pasando de nivel hasta el máximo de jerarquía. (García Moreno)[15].

  Además, esta categoría de algoritmos, según se explica, utiliza estadísticas para encontrar patrones en los datos para lograr que imite algunas habilidades humanas. Estas funciones son las que impulsan, por ejemplo, las búsquedas de Google, las noticias de las redes sociales como Facebook o las recomendaciones en porcentuales de Netflix y, ello, claro está, está transformando industrias enteras como la salud y la educación (Hao, 2019)[16].

Básicamente, el aprendizaje profundo recibe el nombre de caja negra al no poder explicar la secuencia o los pasos del razonamiento. Siendo concretos, no puede explicar cómo ha llegado a la respuesta ofrecida (Heaven 2020)[17].

No puede explicarse, porque, la ruta que recorren los algoritmos para tomar una decisión incluyen parámetros y operaciones complejas que dificultan la comprensión. Esto último, desde luego presenta serias críticas-sobre todo si se trata de algoritmos desarrollados o utilizados por el estado- frente a la ausencia de una explicación a los posibles sesgos y discriminación del razonamiento. Ejemplos como

Compas[18], los sistemas de reconocimiento facial[19] o, el reclutador de empleo inteligente ya mencionado de Amazon, son solo unos pocos  ejemplos que han puesto la  problemática sobre la mesa.

En e       sencia, el punto es que, de ser trazable o explicable, ello mitigaría bastante el problema de los sesgos, puesto que podría permitir, a priori, secuenciar el proceso y, con ello, su corrección y perfeccionamiento. Pero, aunque ya existen ejemplos de investigaciones que intentan superar estas deficiencias del aprendizaje profundo, lo cierto es que, aun, resta mucho por transitar.

En efecto, a modo de ejemplo, lo que se conoce como XAI –explainable artificial intelligence, se centra en explicar a los humanos el razonamiento que subyace a la decisión de IA, pretendiendo con ello dar confianza al usuario. Desde Darpa[20], hasta un primer prototipo que, mediante el uso de una red neuronal, aprendió a jugar el clásico videojuego Frogger, de lo que se trata, es de ofrecer una explicación[21]. Existen varios proyectos interesantes que se abocan a ello, intentando superar las deficiencias del aprendizaje profundo. Por ejemplo, informáticos de la empresa Kindy, utilizan el código Prolog -un lenguaje de programación que data de la década de 1970- y que, según se explica “…fue diseñado para la inteligencia artificial enfocada en la representación del razonamiento y del conocimiento” [22], procesando hechos y conceptos, no solo palabras, para completar tareas que no siempre están bien definidas.

Pero, de todas maneras, aun logrando dar una explicación al razonamiento de los algoritmos como lo propone la XAI, el problema sigue merodeando no solo en torno a su alcance, sino en las posibilidades ciertas de su corrección frente a la detección de sesgos dado que, para explicar el razonamiento de máquina, es necesario comprender el sub lenguaje, lo que puede resultar ser una tarea compleja, aunque no imposible.

No obstante, conviene decir que, también existen técnicas inteligentes tales como la automatización o la detección inteligente que, a partir del uso de las denominadas cajas blancas, permiten explicar y trazar el modo de razonamiento, por oposición a lo antes visto (Almagro Blanco, 2018, p 92-100). Por ejemplo, mediante la automatización inteligente, Cevasco, Corvalán y LeFevre (2019) sostienen que se puede programar a los algoritmos a que realicen tareas rutinarias y estandarizadas, simplificando de ese modo el trabajo humano, permitiendo con ello que las personas se dediquen a producir tareas más sofisticadas (p.19 y ss).

En la detección inteligente, Corvalán (2020) señala que se logra el resultado deseado en tiempo real (p.37/38), a partir de segmentar la información en base a patrones. Es el caso de I- Map, el primer mapa de género inteligente que permite visualizar la representatividad de las mujeres en el sector público (Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires, 2020)[23].

¿Cuál es el problema entonces? El problema con el uso de la IA, por el momento, parece asociarse más fuertemente con el uso de técnicas de cajas negras, donde los algoritmos se retroalimentan y aprenden solos, desarrollando soluciones que pueden ser discriminatorias y, ello, nos lleva al problema de los sesgos. Pero, aun así, por el momento puede decirse que las técnicas de caja blanca, permiten tener más controlados los resultados, puesto que los algoritmos razonan aquello que previamente se le enseñó, pudiendo supervisarse e intervenir para una respuesta correcta. Desde luego que ello también puede presentar sesgos, pero. al menos, no será producto de los patrones asociados por los algoritmos sin la intervención humana. En un escenario donde, como se verá, para agravar el problema, el 78% de los profesionales de la IA resultan ser varones (Global Gender Gap Report 2018) [24] y, donde además, los datos de los que se nutren los algoritmos portan un sesgo cultural estereotipado, el uso de técnicas de caja negra puede resultar ser un caldo de cultivo perfecto que da paso seguro a la discriminación contra las mujeres.

Ahora bien, las falencias descriptas, aunque condicionantes, por el momento solo dejan en claro algunas limitaciones de las técnicas del aprendizaje profundo, por lo que, ello, no descarta de plano el uso de otras técnicas inteligentes de caja blanca. Siendo ello así, es posible nutrirnos sanamente de tecnología disruptiva a partir de una selección estratégica de técnicas inteligentes que permitan intervenir para supervisar humanamente datos y procesos, antes y después del razonamiento propuesto. Ello marca, cuanto menos, una clara diferencia puesto que, dada la magnitud del flagelo de la violencia de género, la humanidad no está en condiciones de ir probando o experimentando tecnologías sin filtro previo que terminen mostrando sesgos o limitaciones hacia las mujeres, puesto que ello terminaría por acrecentar e incorporar otra variable negativa a lo que ya hoy subyace al flagelo de la violencia.

  1. Los sesgos algorítmicos. ¿Un problema exclusivo de la inteligencia Artificial?

El punto es que, en definitiva, todas las tecnologías, pueden portar sesgos contra las mujeres. No es un problema exclusivo de la IA, aunque, como vimos, esta última presenta mayores dificultades en lo que al contralor y corrección refiere. Quizás, la diferencia más notoria con el uso de la inteligencia artificial es que, dependiendo la técnica que se utilice, por caso la del aprendizaje profundo, ello puede terminar en crear desarrollos discriminatorios a partir de la asociación de datos que los algoritmos realizan sin la adecuada intervención humana y, a la postre, sin que ello pueda explicarse. Lo que es peor, puede que no se puede corregir.

Pero, en términos generales, tampoco es un problema exclusivo de la tecnología, sino del adecuado uso por lo que, llegado a este punto, cabe preguntarse si, el verdadero problema de fondo asociado al uso de las tecnologías, no son, en definitiva, los sesgos. Y, a su vez, cabrá preguntarse si estos pueden ser atribuibles a las personas humanas, a la tecnología o, a una combinación de ambos factores, lo que requiere ahondar en el modo en que las personas humanas tomamos decisiones.

3.1. ¿Qué es un sesgo? Anotaciones sobre el proceso de toma de decisiones humanas.

La Real Academia Española define al sesgo como una oblicuidad o torcimiento. De modo que, el concepto se usa simbólicamente para mencionar o referenciar una tendencia o una inclinación hacia algo.

En lo que a sesgo algorítmico refiere, la cuestión se vuelve algo compleja. Por ejemplo, se dice que ello ocurre cuándo un sistema informático refleja valores de las personas que están implicados en la codificación y recolección de datos usados para entrenar el algoritmo (Wikipedia)[25].

Tal definición presenta ciertas dificultades pues, que solo refleje valores parece ser una expresión neutral que, per se, no parece presentar un costado o apariencia negativa. Es que, si el sesgo es una inclinación hacia algo o es la dirección que se toma, la mera referencia a “reflejo de valores humanos”, parece ser incompleta o, al menos, no nos sirve para conceptualizar la expresión “sesgo algorítmico” que habitualmente es utilizada para referir con ella a situaciones donde los desarrollos inteligentes discriminan a las personas.

La expresión “sesgo algorítmico” desde luego puede ser muy diferente al sentido o alcance que pueda tener en el sentido estricto o literal de las ciencias computacionales, pero, en lo que a su uso habitual o cotidiano refiere, aquella parece ser utilizada para hacer referencia a un resultado disvalioso hacia las personas de parte de los sistemas informáticos. Por ejemplo, cuando los desarrollos inteligentes proponen o toman decisiones que discriminan a las personas[26]. De hecho, como ya lo anticipara, cuando la Unesco refiere a los sesgos algorítmicos, lo hace en el sentido negativo de la expresión. Recordemos que dicho órgano afirma que los sesgos tienen el potencial de reforzar o propagar estereotipos de género (Unesco 2020).

Por tanto, solo reflejar valores, puede resultar neutral y no ser representativo de un problema. Sin embargo, si tomamos la definición de la palabra sesgo ya vista, este expresa una tendencia, una inclinación o rumbo hacia un lado, no, hacia el otro. Es, por tanto, una preferencia. Esa preferencia entonces “por algo” o, “hacia algo”, implica que se la tiene por una cosa y no por otra, por lo que tiene por default una connotación o un costado negativo de la toma de decisión. Por ello, solo en lo que nos interesa abordar, cuando la decisión o solución del sistema informático prefiere o se inclina hacia algo, puede que, con ello, finalmente, termine por discriminar a las personas.

Ahora bien, como se verá, esa preferencia de los sistemas informáticos tiene una directa relación con el proceso humano neurobiológico de toma de decisiones donde, los sistemas, terminan por aprender de nuestras preferencias, replicándolas. Si, nuestras decisiones prefieren o se inclinan por discriminar a personas, y esto ocurre habitualmente, eso se verá plasmado en datos o en conductas que serán tomados por los sistemas informáticos para proponer o tomar decisiones. De modo que, el problema de la discriminación digital que proviene de los sesgos algorítmicos, tiene origen en la toma de decisiones humanas. Veamos:

Desde la mirada de las neurociencias, la evidencia científica demuestra que las personas decidimos, básicamente, con las emociones antes que con la razón y que, por ello, la toma de decisiones es un mecanismo complejo donde la emoción facilita el proceso y, el estado de ánimo o el déficit en la función cognitiva, influyen por mucho en aquel proceso (Manes p.231/233).

De hecho, la psicología también explica que:

En los últimos 30 años, los trabajos empíricos sobre el razonamiento han cuestionado la idea de que los seres humanos (aun los aparentemente más capacitados e instruidos), procedan de manera racional, más aun, que apelen en su razonamiento a algún tipo de proposición o cálculo lógico proposicional (Gardner 1987). (Bonatti 2011, p.366).

Se dice que ello sucede porque, en el proceso de toma de decisiones, se activan áreas cerebrales involucradas en el control de las emociones y que, además, por la velocidad en que ello sucede, no hay tiempo para racionalizar. De ahí que, analizar los pros y los contras de cada decisión dependerá, entonces, de que región cerebral gane la batalla. Las neurociencias, también, focalizan en los procesos implícitos inconscientes donde el cerebro toma decisiones incluso antes de que seamos conscientes, cuestionando incluso el concepto mismo de libre albedrío (Manes, p. 234/ 235).

También cabe memorar la invitación de Kahneman a pensar en lo que metafóricamente denominó como el Sistema 1 (pensamiento rápido): “el que sin esfuerzo genera impresiones y sentimientos que son las fuentes principales de las creencias explícitas y las elecciones deliberadas del Sistema 2” (p. 22). El sistema 2 (el pensamiento lento): “el yo consciente, racional, que tiene creencias, hace elecciones y decide qué pensar y qué hacer”. (p. 22). En el Sistema 1, sostiene el autor, es donde hay sesgos, errores sistemáticos que es propenso a cometer en circunstancias específicas (p.26)

Pero, además, y sobre lo que volveré más adelante, Manes (2014) enfatiza en una cuestión clave, la importancia del factor contexto en la toma de decisiones: “Los seres humanos, basados en nuestra experiencia, intuición, aprendizaje y emoción, integramos la información en un contexto que cambia permanentemente de manera inmediata y automática” (p. 236).

Podría decirse entonces que tomamos decisiones conscientes e inconscientes y en ese proceso, nuestra área emocional juega un papel muy importante. Y ello es clave para comprender el problema, puesto que, lo que decidimos, se encuentra indefectiblemente ligado e influenciado a lo que somos como seres sociales y culturales en base a la información de la vida real absorbida y al contexto en el que nos encontramos.

3.2. Tipos de sesgos. Impacto en la tecnología en cuestiones de género.

La psicología también explica que, cuando las personas socializamos, aprendemos reglas para intentar dar sentido a lo que nos rodea. Y, estas reglas, son las que nos sirven de filtro para procesar la información. Si esas reglas están distorsionadas, serán fuente de sesgos cognoscitivos que influirán en la interpretación de la realidad como, por ejemplo, las etiquetas, las generalizaciones extremas, entre otras (Martín Alfonso, 2006. p 8).

Si bien existe una extensa lista sobre los diferentes tipos y subtipos de sesgos, se suele focalizar en tres: el estadístico, el cultural y el cognitivo (Baeza-Yates & Peiró, 2019), [27] . Estos, en gran medida, son los que mejor pueden servir para explicar por qué se producen las inclinaciones o las tendencias en el proceso de toma de decisiones y, en lo que aquí interesa, el impacto en la tecnología en cuestiones de género.

SESGO ESTADISTICO

El primero, el sesgo estadístico que intenta recrear la imagen, tiene estrecha relación con el cómo se obtienen datos. Aquí es donde entra nuevamente el ejemplo del reclutador laboral inteligente de Amazon donde, su equipo de desarrolladores, configuraron al algoritmo con datos de personas que ya habían prestado funciones en los 10 años anteriores en la empresa. Todos ellos eran varones, lo que dio paso al sesgo algorítmico de género al preferir varones en el proceso de selección. Conviene recordar en este punto, la importancia de reconocer las diferentes etapas en las que el sesgo en tecnología puede provenir (Hao, 2019)[28], sea en la de identificación del objetivo cuyo fin puede estar sesgado, como también en la recogida o preparación de datos que le han servido de ancla. En estos casos, puede decirse que se incurre en un error sistémico donde se facilita la inclinación hacia un resultado determinado, lo que abre la puerta a otra pregunta: ¿Es este error casual? Podría decirse que no, y al menos en lo que a cuestiones de género respecta, ese error en la recogida de información –datos-, está por mucho relacionado con los denominados sesgos culturales y cognitivos, puesto que estos también contribuyen al impacto de las diferentes formas de discriminación.

SESGO CULTURAL

En efecto, el sesgo cultural, es aquel que deriva de la sociedad, del lenguaje o de todo lo que hemos aprendido a lo largo de nuestras vidas. Y, los estereotipos de género, son un ejemplo de ello. Va por caso el ejemplo ya dado de los electrodomésticos que hablan con voz de mujer y hasta tienen nombre de mujer o, el de los asistentes virtuales. En estos casos, el sesgo de origen estuvo en las creencias y percepciones de los equipos desarrolladores que se han visto influenciados al momento de decidir sobre cuáles debían ser sus características. Desde luego que decidir construir una aspiradora robot no es, a priori, una decisión sesgada. Pero, sí lo es, cuando se decide incorporar ciertas características: la configuración de voz femenina como regla.

Básicamente, ello ocurre porque los estereotipos de género están fuertemente impregnados en nuestra sociedad. Es que, históricamente, lo doméstico y lo servicial ha sido atribuido a roles asociados al género, donde quedaba claro que esas eran tareas propias de mujeres y no de varones. Por lo que, siendo ello así, o desde ese punto de partida, muy difícilmente el equipo integrante de la empresa Gadnic pudo pensar en desarrollar un robot con voz de varón que nos dijera “encantado de servirle, ahora vamos a limpiar”, tal como lo hace actualmente con voz de mujer[29].

En ese aspecto y como bien lo señala y explica Pérez Fernández, son precisamente los estereotipos los que facilitan nuestra identidad social y la pertenencia a un grupo. Y, el sentido de pertenencia al grupo está muy relacionado con los prejuicios y la discriminación, al estar unidos a las actitudes. Los estereotipos de género, en palabras del autor: “son un conjunto de ideas preconcebidas que utilizamos para analizar e interactuar con otros hombres y mujeres. Incluyen tanto los patrones de conducta como los roles sociales de cada género que se han construido socialmente” (p.1).

Como otro ejemplo de estos estereotipos de género que dan lugar a conductas sesgadas que repercuten en la tecnología puede nombrarse el caso de Wikipedia que, para el 2018 contenía un 82% de biografías de varones en las ciencias, mientras que solo un 18% eran de mujeres. ¿Su explicación? El 90%, de sus redactores eran varones (Página 12, 2018)[30]. Como resultado de ello, las mujeres científicas fueron mayormente omitidas en la biblioteca digital más consultada del mundo, aunque como más adelante se verá, ello puede mitigarse con el uso de algoritmos.

Otro caso de discriminación tuvo lugar, incluso, con la técnica básica de automatización en la Escuela de Medicina del Hospital St. George’s (Londres), lo cual data de la década de los años 70. Lo que se intentó en este caso, fue automatizar el proceso de lectura de admisiones de los alumnos aspirantes a la escuela de medicina, lo que fue seriamente cuestionado frente a la ausencia de minorías seleccionadas. Lo cierto es que, con las investigaciones realizadas, no solo que se pudo determinar que el algoritmo sesgaba, sino que fue el primer caso donde se pudo constatar que, ello, fue producto del sesgo humano en el proceso de elaboración de admisión puesto que el algoritmo fue programado para replicar los mismos datos e intenciones usados en el proceso por las personas a cargo. Así la referencia sobre caucásico, era utilizada intencionalmente para determinar si la persona era o no europea, lo que usualmente descontaba gran cantidad de puntos cuando no lo era. El nombre de mujer, también le descontaba 3 puntos por sobre los de varón. Por tanto, lo que ocurrió, es que se le enseñó la respuesta al algoritmo de una manera previamente sesgada por los humanos, replicando un método discriminatorio (Merino, 2019)[31]. Esto refuerza la idea de que el problema no es solo de la tecnología ni de las técnicas en sí, sino que se asocia a un problema cultural que, en estos casos, termina por impactar en la tecnología.

Por tanto, esta circunstancia, la de los estereotipos que influyen en lo conductual, viene asociada directamente al proceso de toma de decisiones antes abordado en tanto, lo emocional, es el factor decisivo de los estereotipos porque, la transmisión de conductas o valores tienen lugar por vía emocional (los afectos) y el modelado (Pérez Fernández, p.6).

SESGO COGNITIVO

Por último, el sesgo cognitivo es asociado a nuestras preferencias. Se trata de esquemas mentales que ayudan al cerebro a procesar la información y dar respuesta a situaciones a las que se debe enfrentar de manera rápida (Manes, 2020)[32]. El problema de estos esquemas, es que como percibimos la realidad con nuestros filtros culturales, aun frente a datos objetivos que nos indiquen que estamos equivocados, nuestra mente va ser malabares para intentar que nuestras ideas personales encajen de algún modo para justificarnos. Es lo que se conoce como sesgo de confirmación’. Por ejemplo, lo que se conoce como noticias falsas (fake news) que circulan en las redes sociales, se nutren de esta forma de razonamiento pues son utilizadas, precisamente, con la intención de reforzar ideales y, por eso, logran difundirse a gran velocidad.

Vaya entonces que nuestra forma de razonar es un verdadero problema, pues al parecer, tenemos incorporados mecanismos de defensa naturales que buscan preservar nuestros ideales frente a lo que podemos sentir como una amenaza de aquellos. Esto, ciertamente, torna muy dificultosa la tarea de luchar contra los estereotipos y la consecuente discriminación, pero, como se ve, afianza la idea de que la tecnología, por sí sola, no es la que atenta contra los derechos de las personas, sino, un cúmulo de situaciones: –los estereotipos, las emociones y los sesgos los que, eventualmente, participan de la posible discriminación contra las mujeres con el uso de la tecnología.

En resumidas cuentas, los sesgos algorítmicos no son sino la reproducción de los sesgos humanos.

3.3 La malnutrición del dato y la brecha digital. Impacto en mediación cultural. 

Como se ve, existen diferentes formas de sesgos que nos despiertan diferentes alertas sobre posibles formas de discriminación de género que impacta también en las tecnologías. Así, lo inherente al sesgo estadístico tiene estrecha relación con los datos existentes que hoy manejamos. Recordemos que, para empezar, uno de los principales factores de riesgo o de alerta son los datos disponibles (Rodríguez Martínez)[33]. Esto es así, puesto que, los datos, tienden a espejar el rol que la humanidad le ha ido asignando a la mujer. De modo que, de no poder identificar a tiempo la malnutrición del dato o, con exactitud, la etapa en la cual se ha comenzado a gestar el sesgo informático, la tan preciada subsanación, puede resultar inviable. Nuevamente cabe aquí el ejemplo de Amazon, que, aunque intentó corregirlo, no pudo.

Pero, a su vez, ello se ve agravado y, reforzado, con los ya descriptos sesgos culturales a partir de las normas sociales estereotipadas. Y, en este aspecto, la brecha digital es sin duda otro nutriente del problema de los sesgos.

En la investigación de Romero Pedraz y Varela Ferrío (2020) se dice que, en España, “las mujeres presentan un menor aprovechamiento y uso de las herramientas informáticas, siendo especialmente relevante en tareas de mayor complejidad, y que necesitan, por tanto, de más conocimientos, como pueden ser en aspectos relacionados con la configuración de aplicaciones, la programación o la instalación de periféricos” (p.8)

En lo que a IA respecta, ya se dijo que el 78% de los programadores son varones. Y, ello, no resulta ser solo un dato más que solo nos muestra la escasa participación de las mujeres en la tecnología. Por el contrario, este dato, pone en evidencia que los desarrollos de IA suceden o tienen lugar con escasa participación del género mujer, lo que contribuye a que el sesgo cultural haga de lo suyo e impacte en la tecnología.

3.4. ¿Más tecnología para superar los sesgos humanos y algorítmicos?

Se sostiene que, para superar el problema de los sesgos humanos y de los algoritmos se puede utilizar, precisamente, a la tecnología.

En este aspecto, mucho se ha escrito sobre ello con un especial énfasis en los atributos da IA.  Un ejemplo de ello es el ya mencionado caso de Wikipedia. La carga de datos humana, proveniente en su mayoría de varones, provocó la ausencia de biografías de mujeres en las ciencias. Y, por esa razón, se creó el algoritmo denominado Quicksilver. Su objetivo fue corregir esos errores y vaya que lo han logrado. A través de este, mediante técnicas de aprendizaje automático lograron identificar a una enorme cantidad de mujeres que deberían estar incorporadas a las biografías, proponiendo los perfiles a la enciclopedia digital (Martínez, 2018)[34].

También, existen muchos ejemplos que pregonan un uso responsable de la IA, proponiendo usar esta para mitigar los sesgos algorítmicos y evitar con ello las desigualdades o injusticias. Por caso, aplicable a la clasificación y asociación de datos que toman decisiones injustas frente a los atributos sensibles tales como, el género o, la etnia.

Lo que se conoce como Fairness Contrains o equidad algorítmica, intenta minimizar el riesgo de discriminación de los clasificadores de datos para que, las variables sensibles, no influyan de manera injusta en el resultado (Donini, Oneto, Ben-David, Shawe-Taylor, Pontil).

En otro ejemplo, se propone crear modelos que reconozcan la discriminación a partir de clasificar reglas de asociación para el análisis de datos imparciales (Luo, Liu, Koprinska, Chen, 2015) y, limpiar un conjunto de datos sesgados de entrenamiento (Hajian, Domingo-Ferrer, Martínez-Ballesté, 2011).

Se propuso también agregar la variable de la etiqueta imparcial al modelo probabilístico bayesiano (Calders y SiccoVerwer 2010, p.283)

Ahora bien, desde luego que el uso de la tecnología, más concretamente de la IA, tiene un plus extraordinario para compensar las desigualdades algorítmicas que esta misma provoca, por ejemplo, en el tratamiento de los datos, aunque, como se verá, esto no es suficiente.

También hay que reconocer que la IA tiene un enorme valor para mitigar ciertos aspectos de la violencia de género. Por ejemplo, con técnicas de IA se busca predecir con mayor exactitud el grado de violencia que puede padecer la mujer víctima. Es el caso del Viogén[35] que utilizará IA en España. También, se puede mitigar la revictimización de las mujeres en procesos judiciales donde se investigan ilícitos cometidos en contexto de violencia de género (Laboratorio de Innovación e Inteligencia Artificial de la Facultad de derecho de la Universidad de Buenos Aires, 2019)[36].

Es que, si lo pensamos bien, a través de la IA se logra leer, automatizar, clasificar, detectar patrones y proponer soluciones a una velocidad tal, que las personas humanas nunca, jamás, podría realizar en el tiempo que lo hace la IA.  Incluso, como lo vimos, la podemos entrenar para supervisarse a sí misma. Desde este punto de vista, el aporte de la IA a la humanidad es, sin lugar a dudas, muy luminoso.

Pero, aun reconociendo ello, el uso de más tecnología, por sí sola no alcanza para erradicar el problema de los sesgos.

Básicamente porque, hay un círculo vicioso del cual no podríamos salir triunfantes sin intervención humana con perspectiva de género.

En efecto, los algoritmos nos muestran probabilidades a partir de parámetros y fórmulas lógicas. En base a esto, nos ofrecen soluciones, pero, somos las personas humanas quienes debemos revisarlas y contextualizarlas en el mundo real.

Recordemos que, las personas humanas, tomamos decisiones  basadas en la racionalidad contextual de la vida real que son guiadas por atajos emocionales (Manes, 2021)[37]. Y, ello, es un factor clave a tener en consideración puesto que, si bien no se desconoce que los algoritmos cada vez son más sofisticados- por ejemplo ya pueden reconocer un estado de ánimo[38] lo cierto es que la analítica de datos de la que por lo general se valen, no dejan de ser sistemas probabilísticos que necesitan ser validados.

Dos son las razones de la necesaria intervención humana:

En primer lugar, porque las tecnologías-cualquiera sea- presentan fallas. Vaya por caso el ejemplo de lo ocurrido con el accidente aéreo sobre el Río Hudson en New York. En ese caso, los simuladores de vuelo, al recrear el evento, mostraron que la decisión del piloto no fue la correcta. Pero, lo que finalmente la junta de accidentes de aviación comprendió es que, el comportamiento automatizado obvia factores imprevistos que pueden poner en riesgo la seguridad. Y, precisamente, ese factor contextual que formó parte del proceso de decisión en ese momento tan crucial, inclinó al piloto hacia la decisión correcta, salvando a todas las personas que viajaban en ese vuelo. El factor humano, se señala, ha sido crucial (Desde la Cabina de vuelo, 2017)[39]. De modo que, la tecnología, aunque muy necesaria, no siempre toma las decisiones correctas. En otras cuestiones, porque hasta las más sofisticadas, prescinden del factor humano contextual.

En segundo lugar, porque la tecnología, sin una adecuada intervención humana, puede reproducir los sesgos humanos que dan paso a la discriminación digital. De modo que, si se crean desarrollos tecnológicos –cualquiera sea la técnica utilizada-sin la intervención humana adecuada, puede que estos discriminen.

Es que, como se vio, ello ocurre producto de los propios sesgos humanos, independientemente de la tecnología usada, aunque sin desconocer que, en algunos casos, ciertas técnicas pueden facilitar la discriminación basada en género.

Lo cierto es que, las personas humanas, quienes utilizamos el factor contextual para decidir y vivir en sociedad, tenemos que tener la posibilidad de intervenir antes y durante el proceso de creación de un desarrollo para darnos la chance de revisar, explicar y evitar que, a través de la tecnología, se replique discriminación. Esta es la única manera de evitar que la tecnología se constituya –aunque, de hecho, en algunos casos ya lo es- un elemento más que contribuye a la mediación cultural en cuestiones de género.

Y, lo que ha de quedar más en claro, es que, intentar paliar los sesgos de género, no es sino paliar el modo en que nuestra cultura humana ha evolucionado, por lo que, este fenómeno social, no es posible erradicarlo solo con algoritmos. Requiere, primeramente, modificar nuestro sistema de creencias y valores. Ello, de por si es una tarea bastante compleja que requiere comprender y contextualizar los diferentes factores que forman parte de la discriminación basada en género.

Ciertamente, los algoritmos no comprenden de fenómenos culturales como lo es, por caso, la violencia de género.

Podrán identificar palabras, conjuntos de palabras, reconocer patrones, imágenes o frases agraviantes, incluso con probabilidades de acierto altísimas, pero, al final del día, si no somos capaces de revisar y de modificar nuestras propias conductas, la tecnología continuará reflejando las desigualdades sociales, y así seguiremos en un círculo vicioso del que no podremos salir solo con algoritmos probabilísticos.

Vale aclarar, muy particularmente, que el propio concepto de justicia es un valor. Y, los valores, son también lo que dan lugar a las decisiones y paso a los sesgos. Entre otras cuestiones, porque los valores son factores asociados a lo social y cultural. De modo que, es muy difícil crear un sistema de IA que se tilde de “justo” porque no hay una definición estándar de equidad. Dado ello, tal como expresa Google, el sistema debería tener en cuenta la experiencia del usuario y factores culturales. Y, aun para situaciones que parecen simples, las personas pueden no estar de acuerdo sobre lo que es justo (Google)[40]

A ello, además, cabe agregar que más tecnología de IA para la clasificación de datos “justos” es más de lo mismo. En efecto, ni superamos con esto la deficiencia de la falta de trazabilidad o de explicación de la decisión, sino que, estas propuestas, no son sino el producto de desarrolladores que parten de asignar un concepto de justicia o equidad único, el que ellos definieron.

Ello, además, no puede ser zanjado a partir de mostrar la efectividad de la tasa de acierto. Este punto, reitero, solo muestra que se toman decisiones en base a probabilidades: de ser o no justo. De ser o no discriminatorio. Pero, francamente, y en lo que a violencia de género refiere, estaremos de acuerdo que no podemos como sociedad aceptar porcentuales aceptables de discriminación porque ello nos lleva al sendero de la ética. No es lo mismo aceptar tasas aceptables de acierto sobre si el sistema reconoció una voz o una sonrisa, a aceptar tasas de discriminación hacia las mujeres.

En definitiva, el problema se lo debe erradicar de raíz. Y, por ello, debemos ser nosotros mismos los que nos reeduquemos para evitar que, la tecnología, sea un vehículo más de discriminación. Aunque, sin dejar de reconocer que la tecnología es una aliada estratégica extraordinaria.

  1. Intervención humana con perspectiva de género, también en tecnología

La intervención humana en la tecnología, sobre todo en lo inherente a la IA   considerada de alto riesgo (Comisión Europea 2020)[41], se justifica pues, como se vio, resulta esencial para salir del círculo de los sesgos humanos y algorítmicos. Pero también, ello tiene que ver con la transparencia. De ahí la insistencia en los enfoques técnicos para la evaluación “en cada paso del camino” (Unesco, 2020.p. 24).

Ello tiene, además, estrecha relación con otra necesidad latente: la perspectiva de género en tecnología, lo que también requiere definir previamente el concepto.

ONU Mujeres[42], basándose en las conclusiones convenidas del Consejo Económico y Social de Naciones Unidas, trae la definición y alcance de la perspectiva de género como:

El proceso de evaluación de las consecuencias para las mujeres y los hombres de cualquier actividad planificada, inclusive las leyes, políticas o programas, en todos los sectores y a todos los niveles. Es una estrategia destinada a hacer que las preocupaciones y experiencias de las mujeres, así como de los hombres, sean un elemento integrante de la elaboración, la aplicación, la supervisión y la evaluación de las políticas y los programas en todas las esferas políticas, económicas y sociales, a fin de que las mujeres y los hombres se beneficien por igual y se impida que se perpetúe la desigualdad. El objetivo final es lograr la igualdad [sustantiva] entre los géneros. (p.42). (ECOSOC 1997)[43]

De modo que, contrariamente a lo que se puede creer, el objetivo de la perspectiva de género es la igualdad entre géneros, lo que se logra participando e intercambiando experiencias durante las diferentes etapas o pasos creativos, para poder decantar soluciones que nos beneficien por igual.

Desde luego, esta propuesta y necesidad alcanza a la tecnología. Es que, como lo anticipara, en un contexto donde los varones acaparan el mundo tecnológico y donde, además, convivimos entre estereotipos de género arraigados a nuestra sociedad que dan paso a los sesgos humanos que terminan por impactar en la tecnología, está claro que resulta muy necesario integrar los géneros al proceso de toma de decisiones para asegurar diversidad e igualdad de intereses en el uso de la tecnología.

De hecho, se habla de la creciente evidencia científica sobre las ventajas de los equipos de investigación con diversidad de género pues “trabajan mejor y tienen más inteligencia creativa, lo que a su vez mejora la capacidad innovadora y la obtención de mejores soluciones” (Castaño y Webster, 2014, p. 26).

4.1. Equipos multidisciplinarios. Adecuada formación en género

A lo anterior, se le suman los beneficios de la inteligencia colectiva (Woolley, 2010).

Pero, lo que sin duda marcará la diferencia, es la integración de múltiples saberes o disciplinas. No solo se trata de equipos desarrolladores que convoquen a mujeres y a varones expertos en tecnología. De lo que al parecer se trata, es de incorporar diversidad de géneros y de diferentes saberes como, por ejemplo, de la abogacía, la medicina, la psicología, diseño o comunicación, pues, ello es lo que termina por cerrar un círculo de interacción con múltiples miradas de diversos géneros y de diversas formaciones que aportan aditivamente para un fin en común: la no discriminación y transparencia.

Desde luego, a ello cabe agregar que la especial formación en género y diversidad debería ser una condición para la integración de estos equipos desarrolladores en tecnología. Es que, si lo que se quiere es mitigar el impacto de la tecnología en cuestiones de género, debemos comprender que se trata de un fenómeno social del cual la sociedad tiene mucho por aprender y modificar. De modo que, necesitamos de personas con perspectiva de género que formen parte de los equipos desarrolladores. Estas personas pondrán el ojo con mayor rapidez en aquellas cuestiones relativas a las desigualdades de género que pueden no ser advertidas a simple vista –o por el “pensar rápido” al que refería Kahneman (p.), producto de nuestro sistema de creencias y de valores, inclusive el de las mujeres integrantes de los equipos.

5.- Conclusiones

La discriminación basada en género que pueden presentar las tecnologías no son producto de estas. Tampoco puede ser atribuible a una técnica en particular, aunque sí la IA presenta ciertas alertas, cuando aquella es desarrollada para obtener resultados sin la intervención humana adecuada.

Lo inherente al problema de los sesgos algorítmicos que dan cauce a la discriminación tienen, como antecedente inmediato, a los sesgos humanos que, a su vez, se gestan en el proceso humano de toma de decisiones, replicándolos.

Por ello, para que las tecnologías no se constituyan en otro medio más de la mediación cultural, requiere del esfuerzo humano de salir del círculo vicioso a partir de nuestra intervención –la humana- con perspectiva de género en cada paso del proyecto creativo. Ello, de la mano de equipos multidisciplinarios que incluyan diversidad de géneros con diferentes saberes y valiéndose, también, de los enormes beneficios de las tecnologías disruptivas.

6.- Referencias bibliográficas

Almagro Blanco, Pedro (2018), Caja negra, caja blanca la inteligencia artificial explicable, Inteligencia Artificial. El mundo que viene, Revista de Occidente.

Berendt, B., & Preibusch, S. (2014). Better decision support through exploratory discrimination-aware data mining: Foundations and empirical evidence. Artificial Intelligence and Law, 22(2), 175–209. https://doi.org/10.1007/s10506-013-9152-0

Bonatti, P.         (Coord.).         (2011).            Teoría de        la         decisión.         Pearson             Educación. https://elibro.net/es/ereader/uvirtualorg/113551?

Calders, T., & Verwer, S. (2010). Three naive Bayes approaches for discrimination-free classification. In Data Mining and Knowledge Discovery (Vol. 21, pp. 277–292).

https://doi.org/10.1007/s10618-010-0190-x

Castaño, C. y Webster, J. (Dir.) (2016). Género, ciencia y tecnologías de la información.

Barcelona,         Spain: Editorial          UOC. Recuperado     de https://elibro.net/es/ereader/uvirtualorg/57882?page=250.

Cevasco, Luis, Corvalán, Juan Gustavo y Le Fevre Cervini, Enzo María, (2019) Inteligencia Artificial y trabajo. Construyendo un nuevo paradigma de empleo, Astrea (Argentina), Buenos Aires, Derecho Público para Innovar (Argentina), Ciudad de

Buenos Aires, Laboratorio de Innovación e Inteligencia Artificial de la Universidad de Buenos Aires (Argentina), Ciudad de Buenos Aires, Institut Du Monde Et Du Développement Pour La Bonne Gouvernance Publique (IMODEV) (Francia), París, https://ialab.com.ar/wp-content/uploads/2019/09/IAyT.pdf .

Corvalán, Juan Gustavo, (2019) Prometea. Inteligencia Artificial para transformar instituciones públicas, publicación digital conjunta de Editorial Astrea (Buenos Aires, Argentina), Derecho Público para Innovar (Ciudad de Buenos Aires, Argentina), Editorial Universidad del Rosario (Bogotá, Colombia) y el Institut du monde et du développement pour la bonne gouvernance publique (Paris, Francia).   https://dpicuantico.com/area_diario/libro-ia-para-transformar-organizacionespublicas/

Corvalán, Juan Gustavo (2020) Perfiles digitales humanos, Thomson Reuters, Ciudad de Buenos Aires.

Donini, Oneto, Ben-David,     Shawe-Taylor,            Pontil (2018) https://arxiv.org/abs/1802.08626

Hajian, S., Domingo-Ferrer, J., & Martínez-Ballesté, A. (2011). Rule protection for indirect discrimination prevention in data mining. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in

Bioinformatics) (Vol. 6820 LNAI, pp. 211–222). https://doi.org/10.1007/978-3-64222589-5_20

Kahneman Daniel, Pensar rápido, pensar despacio. Le Libros  http://LeLibros.org/

Lorenzo Hernández, Martín (2016). La intervención con agresores como prevención en violencia de género. Kindle.

Luo, L., Liu, W., Koprinska, I., & Chen, F. (2015). Discrimination-aware association rule mining for unbiased data analytics. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in

Bioinformatics) (Vol. 9263, pp. 108–120). Springer Verlag. https://doi.org/10.1007/9783-319-22729-0_9

Macchiavelli María de las Nieves y Cinalli Carolina. Amenazas y hostigamiento digital contra las mujeres en épocas de aislamiento. Desafíos probatorios. Diario Penal Nro.

299- 11.09.2020. https://dpicuantico.com/sitio/wp-content/uploads/2020/09/DoctrinaPenal-11-9.docx.pdf

Manes Facundo, Niro Mateo (2014) Usar el cerebro. Conocer nuestra mente para vivir mejor. Ed. Planeta.

Martín Alfonso, Libertad (2006). Sesgos cognoscitivos del gerente: su influencia en la toma de decisiones. Red Revista Cubana de Salud Pública.

Mattamala Aravena Matías (2016) Inteligencia artificial y bienestar de las juventudes en América Latina. Recuperado en http://catedratransmedia.com.ar/wp-

content/uploads/2020/03/Libro_Inteligencia-Artificial-y-Bienestar-de-lasJuventudes.pdf

Pérez Fernández, Miguel (2014) Actitudes y cambio social ante la violencia: La sociedad patriarcal. Kindle

Pérez Fernández Miguel, Los estereotipos de género en la pareja. Máster en prevención de la violencia de género, Salamanca España. Recuperado en file:///C:/Users/HP/Downloads/Estereotipos.pdf

Principales conclusiones        de          la         UNESCO.          Diálogo         global.

file:///C:/Users/HP/Downloads/UNESCO.%20Inteligencia%20Artificial,%20ge%CC% 81nero%20e%20igualdad.pdf

Romero Susana, Pedraz José, Varela Ferrío (2020) Mujer & Tecnología. Servicios de

estudios        de                  la                 confederación                 de                  UGT.

file:///C:/Users/HP/Downloads/mujer_y_tecnologia_2020_vf1%20(1).pdf

Ruggieri, S. (2013). Data anonymity meets non-discrimination. In Proceedings – IEEE

13th International Conference on Data Mining Workshops, ICDMW 2013 (pp. 875–

882). IEEE Computer Society. https://doi.org/10.1109/ICDMW.2013.56

Woolley, A., y col. (2010). Evidence for a collective intelligence factor in the performance of human groups. Science, 330, 686–688.

[1] Máster en Prevención de la Violencia de Género, Universidad de Salamanca, España. Codirectora del Programa Inteligencia Artificial y Género de la Facultad de Derecho de la Universidad de Buenos Aires.

[2] Lorente   Acosta.     2014.     La     violencia     no     tiene     género.     El    género     Sí    tiene     violencia.

https://blogs.elpais.com/autopsia/2014/01/la-violencia-no-tiene-g%C3%A9nero-el-g%C3%A9neros%C3%AD-tiene-violencia.html.

[3] Real Academia Española (2020) Lenguaje inclusivo: la RAE aseguró que el uso de la “e” es innecesario  https://www.infobae.com/cultura/2020/12/14/lenguaje-inclusivo-la-rae-sostiene-que-el-uso-de-la-e-es-innecesario/. En  oposición a ello, el planteo de Naciones Unidas. Lenguaje inclusivo en cuanto al género https://www.un.org/es/gender-inclusive-language/

[4] Naciones            Unidas   (2016)    La           violencia               de            género   es            una         pandemia              mundial.  https://news.un.org/es/audio/2016/11/1418021

[5] Aguayo, (2018). Amazon apaga sistema de reclutamiento porque discriminaba a mujeres (https://noticiasya.com/2018/10/15/amazon-apaga-sistema-de-reclutamiento-porque-discriminaba-amujeres/ .

[6] Ámbito           (2020),      La      nueva      inteligencia      artificial      de      la      justicia      en      Colombia

https://www.ambito.com/tecnologia/justicia/la-nueva-inteligencia-artificial-la-colombia-n5120307

[7] Alonso (2020) ¿Qué es el Internet de las cosas (IoT) y por qué se le llama así?

https://hardzone.es/reportajes/que-es/internet-cosas-iot/

[8] Daniel (2019) “Creemos que los distintos asistentes de voz coexistirán”

https://www.xataka.com/entrevistas/creemos-futuro-donde-distintos-asistentes-voz-coexistiran-miriamdaniel-vp-amazon-echo-alexa

[9] Pérez (2019) Ni hombre, ni mujer: así es Q, la primera voz sin género definido para asistentes inteligentes https://www.xataka.com/robotica-e-ia/hombre-mujer-asi-q-primera-voz-genero-definidopara-asistentes-inteligentes#:~:text=PRO-,Ni%20hombre%2C%20ni%20mujer%3A%20as%C3%AD

[10] Unión Europea (2020) Regulación de la inteligencia artificial en la UE: la propuesta del Parlamento https://www.europarl.europa.eu/news/es/headlines/society/20201015STO89417/regulacion-de-lainteligencia-artificial-en-la-ue-la-propuesta-del-parlamento.

[11] Organización para la Cooperación y Desarrollo Económico (2019) Cuarenta y dos países adoptan los

Principios de la OCDE sobre Inteligencia Artificial

http://www.oecd.org/centrodemexico/medios/cuarentaydospaisesadoptanlosprincipiosdelaocdesobreinteli genciaartificial.htm

[12] Hao, (2019) La inteligencia artificial está cada vez más presente en más productos y servicios. Pero… ¿qué es la IA exactamente? Puede que le parezca una pregunta tonta, pero la respuesta es algo complicada https://www.technologyreview.es/s/10738/como-saber-si-esta-usando-una-ia-descubralo-con-este-grafico

[13] TechTarget              (2017)                Aprendizaje                automático                (machine                learning)

https://searchdatacenter.techtarget.com/es/definicion/Aprendizaje-automatico-machine-learning

[14] Lake (2017) El día que la humanidad fue derrotada por una inteligencia artificial | MIT Technology Review/

[15] García               Moreno “¿Qué    es            el            Deep      Learning               y             para        qué         sirve?”, https://www.indracompany.com/es/blogneo/deep-learning-sirve.

[16] Hao (2019) “Auge y caída de las distintas técnicas de IA a lo largo de la historia”, https://www.technologyreview.es/s/10907/auge-y-caida-de-las-distintas-tecnicas-de-ia-lo-largo-de-lahistoria

[17] Heaven (2020) “Caja negra vs. de cristal: la IA que funciona contra la que se explica” 2020, https://www.technologyreview.es/s/11839/caja-negra-vs-de-cristal-la-ia-que-funciona-contra-la-que-seexplica

[18] Desarrollado por la empresa norteamericana Northpointe, para predecir el riesgo de reincidencia en la comisión de delitos.  Desarrollado por la empresa norteamericana Northpointe, para predecir el riesgo de reincidencia en la comisión de delitos.

[19]  Incluso el Consejo de Europa pidió prohibirlos https://www.infobae.com/america/mundo/2021/01/29/el-consejo-de-europa-pidio-prohibir-lastecnologias-de-reconocimiento-facial-para-evitar-riesgos-de-discriminacion/. También Amnistía internacional https://amnistia.org.ar/amnistia-internacional-pide-que-se-prohiba-el-uso-de-tecnologia-dereconocimiento-facial-con-fines-de-vigilancia-masiva/

[20]Turek, Inteligencia artificial explicable (XAI) https://www.darpa.mil/program/explainable-artificialintelligence

[21] Heaven (2020) “Caja negra vs. de cristal: la IA que funciona contra la que se explica”                                                                                                                                             

https://www.technologyreview.es/s/11839/caja-negra-vs-de-cristal-la-ia-que-funciona-contra-la-que-seexplica  

[22]  Lohr, Steve “Is There a Smarter Path to Artificial Intelligence? Some Experts Hope So”, The New York Times, Section B, Page 1, The New York Times Company, publicado impreso 21/06/2018, https://www.nytimes.com/2018/06/20/technology/deep-learning-artificial-intelligence.html .

[23] IALAB (2020) https://ialab.com.ar/portfolio-items/i-map/

[24] El Informe Global de Brecha de Género (2018)

The Global Gender Gap Report 2018 | World Economic Forum (weforum.org)

[25] Wikipedia https://es.wikipedia.org/wiki/Sesgo_algor%C3%ADtmico#:~:text=El%20sesgo%20algor%C3%ADtmico %20ocurre%20cu%C3%A1ndo,usados%20para%20entrenar%20el%20algoritmo.

[26] Según la Real Academia Española, discriminar en su segunda acepción es “Dar trato desigual a una persona o colectividad por motivos raciales, religiosos, políticos, de sexo, de edad, de condición física o mental, etc.”

[27] Baeza-Yates, R., & Peiró, K. (2019). ¿Es posible acabar con los sesgos de los algoritmos?

https://users.dcc.uchile.cl/~rbaeza/bias/sesgos-algoritmos.html

[28] Hao (2019)“Cómo se produce el sesgo algorítmico y por qué es tan difícil detenerlo” https://www.technologyreview.es/s/10924/como-se-produce-el-sesgo-algoritmico-y-por-que-es-tandificil-detenerlo

[29] Esto          puede            verse            en            el           siguiente           video            compilado           casero

https://drive.google.com/file/d/1_nHbG7WE1uIF2Mk2HD6N27NHBJKWGi8r/view?usp=drive_web

[30] Página 12 (2018) “Bot por la equidad” https://www.pagina12.com.ar/135942-bot-por-la-equidad

[31] Merino (2019) “Los algoritmos con sesgo racial y de género son un problema que venimos arrastrando desde los años 80” https://www.xataka.com/inteligencia-artificial/algoritmos-sesgo-racial-generoproblema-que-venimos-arrastrando-anos-80

[32] Manes (2020) “Sesgos cognitivos: La manera en que pensamos y percibimos el mundo”  https://www.diariopopular.com.ar/salud/sesgos-cognitivos-la-manera-que-pensamos-y-percibimos-elmundo-n494497

[33] Rodríguez Martínez (2020) “El sexismo de los algoritmos puede hacernos retroceder décadas en igualdad”, Euronews, https://es.euronews.com/amp/2020/03/06/como-los-algoritmos-nos-pueden-hacerretroceder-decadas-en-igualdad-de-genero  

[34] Martínez, (2018) “Inteligencia artificial busca científicos omitidos por Wikipedia”

https://www.mypress.mx/tecnologia/inteligencia-artifical-busca-cientificos-omitidos-wikipedia-3279

[35] Zona Movilidad (2020) “El Gobierno usará Inteligencia Artificial para luchar contra la violencia de género”

https://www.zonamovilidad.es/gobierno-usara-inteligencia-artificial-luchar-contra-violencia-genero

[36] Laboratorio de Innovación e Inteligencia Artificial de la Facultad de derecho de la Universidad de Buenos Aires, (2019) Primer informe: https://ialab.com.ar/informes-genero/#1er; Segundo informe: https://ialab.com.ar/segundo-informe-trimestral-genero/#2do y, Tercer informe: https://ialab.com.ar/tercer-informe-trimestral-genero/#3er

[37] Manes (2021) Las decisiones de la vida cotidiana

https://www.diariopopular.com.ar/salud/por-facundo-manes-las-decisiones-la-vida-cotidiana-n530480

[38]Sentido y sensibilidad: ¿debería la IA dominar las emociones?  https://www.kaspersky.es/blog/emotional-ai/20735/

[39]  Desde la cabina de vuelo (2017) “Sobre aviones sin pilotos y el factor humano en la aviación” https://desdelacabinadevuelo.com/2017/08/09/sobre-aviones-sin-pilotos-y-el-factor-humano-en-laaviacion/

[40] Google. “Prácticas responsables de IA”

https://ai.google/responsibilities/responsible-ai-practices/?category=fairness

[41] Comisión Europea, 2020, “White Paper on Artificial Intelligence A European approach to excellence and trus”

 https://ec.europa.eu/info/sites/info/files/commission-white-paper-artificial-intelligence-feb2020_en.pdf

[42] ONU Mujeres “Incorporación de la perspectiva de género”

https://www.unwomen.org/es/how-we-work/un-system-coordination/gender-mainstreaming

[43] Naciones Unidas, Consejo Económico y Social (1997) “Conclusiones convenidas de la Comisión de la condición jurídica y social de la mujer en relación con las esferas de especial preocupación indicadas en la Plataforma de Acción de la Cuarta Conferencia Mundial sobre la Mujer”   https://undocs.org/es/E/1997/97%28SUPP%29

 

DESCARGAR ARTICULO