Hace 5 años | Por SemosOsos a reuters.com
Publicado hace 5 años por SemosOsos a reuters.com

En efecto, el sistema de Amazon aprendió que los candidatos masculinos eran preferibles. Se penalizaron los currículos que incluían la palabra "mujeres", como en "capitán del club de ajedrez para mujeres". Y degradó a los graduados de dos universidades femeninas, según personas relacionadas con el tema. No especificaron los nombres de las universidades. Amazon cambió los programas para hacerlos neutrales a estos términos particulares. Pero eso no era garantía de que las máquinas no idearan otras formas de clasificar a los candidatos...

D

Venga valientes, a quemar karma!!

HimiTsü

La cosa es que a mî, me hace sonrojarme. ( medio risa, medio vergüenza)

b

#4 Y falocentrista

Valverdenyo

Es Inteligencio Artificiol.

JohnBoy

#7 Ya... esa duda me ha quedado a mi también. Dice algo de que se basa en revisiones de plantillas anteriores que eran mayoritariamente masculinas, pero eso no terminaría de explicar del todo nada.

D

Es lo que ocurre cuando revisas los datos en bruto.

D

Todo el que haya sido responsable de un grupo de personas en el trabajo sabe por experiencia que las mujeres causan más problemas que los hombres, pero no lo dirá porque está mal visto.

T

#10 Al menos en albañilería, pesca de altura y minería eso no es verdad.

g

#4 Pues sí, si lo dice The Guardian ...

Women must act now, or male-designed robots will take over our lives
https://www.theguardian.com/commentisfree/2018/mar/13/women-robots-ai-male-artificial-intelligence-automation

L

Hombre el haber estado segregadas durante su educación a mi me parece algo que echaría para atrás tanto a hombres como a mujeres.

Habiendo otros/as candidatos que han estudiado en universidades normales, me parece normal que cuente como hándicap.

reithor

Amazon (mythology: female warrior).

g

"The company’s experiment, which Reuters is first to report, offers a case study in the limitations of machine learning."

Me encanta cuando periodistas que no tienen ni puñetera idea de lo que están hablando se ponen a emitir juicios de valor. roll

Nathaniel.Maris

#12 Tú has trabajado en pocas obras con mujeres albañiles.

sorrillo

Los sesgos y la inteligencia van de la mano, aspirar a tener una inteligencia sin sesgos es una utopía.

vilgeits

#17 Albañilas

D

#10 Pues no será en mi empresa, que me callo.
Y no soy precisamente el feminista radical de la web.

D

#16 pues tiene razón: ha demostrado que resulta más difícil doblegarla a criterios subjetivos.

c

Así empezó Skynet. Primero mujeres (Sarah Connor), luego hombres... y al final la humanidad entera.

D

#10 no ha sido mi experiencia, tampoco puedo decir que los hombres sean más problemáticos.

T

#18 Bueno, el sesgo es una forma de ver la falta de inteligencia, se puede ver al revés. Si tienes sesgos no tienes una inteligencia "completa".

D

#23 Calla chivato

D

#10 Puedes dar datos de estudios que muestren que los equipos con mujeres trabajan peor?

GatoMaula

#11 Sensacionalista y a otra cosa.

s

A la IA hay que entrenarla por lo que si el entrenamiento fue con modelos sesgados, los resultados van a estar sesgados. Ahora, si los modelos estaban bien quiere decir que... roll

briarreos

#29 no creo que pueda, porque ese tipo de estudios no se permiten

systembd

Si vas a construir una IA para procesos de selección de candidatos, lo mejor que puede hacerse es volver a los famosos "sistemas expertos" del milenio pasado. Eran poco más que una serie de reglas if-else encadenadas pero al menos sabías exactamente qué pasaba en cada punto del proceso y quién era el responsable.

Las IAs de hoy en día suelen basarse en cantidades absurdas de datos para entrenar modelos de "caja negra" así que, si hay un problema, no puedes terminar el error fácilmente, ni corregirlo. Y si además usas las evaluaciones y métricas de personas con sesgos, al final el modelo los aprende.

D

#17 seguramente, porque no es una profesión con mucha presencia de mujeres. A eso se refiere, creo.

D

#4 Normal. Garbage in, garbage out. roll

D

#29 ¿no te vale el de la noticia? La IA asoció factores asociados a ser mujer con una menor productividad. Parece bastante objetivo.

D

#10 Aparentemente los datos refutan tus observaciones. La principal causa es una mayor inteligencia social y emocional para trabajar en equipo.

D

#17 Yo no he visto ni una en mi vida.

D

#7 Las razones por las que un sistema IA adquiere unos pesos determinados (que es lo que luego marca su comportamiento) no se pueden saber, del mismo modo que no pueden interpretarse esos pesos. Es una de las limitaciones de este tipo de técnicas. Lo que sí sabemos es que el sesgo observado es fruto de un sesgo en los datos. Osea que, o la recogida de datos no es objetiva, o las mujeres tienen un rendimiento peor (siempre en promedio). Lo más probable es que sea una combinación de ambas.

D

#37 No es en absoluto objetivo. La IA aprende de la sociedad. Si la sociedad cree que las mujeres son peores, la IA aprenderá a discriminar a las mujeres. La IA discrimina contra negros y cree que los hombres lavando platos son mujeres. Si quieres te puedo mandar referencias.

D

Esta noticia te dice lo que tus prejuicios mandan, si eres machista pensarás que las mujeres son inferiores, si eres programador podrás intuir que quizás hayan pasado éstos sus sesgos a la inteligencia artificial.

D

#23 ¿Y no incluye "mujeres y hombres" a la humanidad entera? ¡Ah no, es verdad!

J

Pues esto tiene 2 opciones:
1. El modelo es incorrecto y da resultados incorrectos
2. El modelo es correcto y da resultados correctos que son politicamente incorrectos

minardo

#4 del heteropatriarcado al heteromachinado...

vjp

#41 si por que seguro que Amazon entrena a su IA con post de forocoches y programas de 13tv

briarreos

#36 el que tu me enseñas no trata de demostrar que los equipos con mujeres trabajan peor, si no todo lo contrario. Los que no se permiten son los puedan sugerir cualquier tipo de ventaja masculina.
Ejemplo:
https://quillette.com/2018/09/07/academic-activists-send-a-published-paper-down-the-memory-hole/

box3d

#28 el contraste menor dentro del área comúnmente conocida como cara no tiene nada que ver en el análisis de imagen lol

HaCHa

#29 ¿Quién iba a financiarlos?

D

#48 La ausencia de datos de un grupo produce sesgos muy dificil de corregir. Si la IA ve que el 99% de las fotos con gente lavando platos son mujeres, creerá que la foto con un hombre lavando platos es una mujer.

Pero tienes razón en que faltan datos en la noticia para saber por qué se han creado esos sesgos.

D

A nadie más le llama la atención que haya universidades femeninas en EEUU? Aquí no segregan por sexos ni las del OPUS.

D

#50 Te puedo dar otros ejemplos, pero si vas a venir con tu libro a poner caras riéndote paso de intentar tener una conversación.

D

La IA ha aprendido rápido que no puedes fiarte de seres que sangran por la vagina durante 5 días y no mueren.

box3d

#33 reinventar la rueda pero con más palabrería molona lol

D

#49 Es bastante largo, me puedes mandar un resumen?

Si un paper tiene resultados novedosos y con unos métodos fiables no te lo rechazan. Las revistas quieren esa publicidad.

Wir0s

#23 Skynet fue a por Sarah Connor al no poder cargarse a John Connor "en el futuro" y cuando va a por ellos ya lleva tiempo en guerra con la humanidad

box3d

#55 da la casualidad que justo he currado en ese campo. Mierda cámara + bajo contraste = "ruido"

powernergia

Es lógico, probablemente la IA se limitaba a buscar el mejor candidato para las empresas y usa los mismos baremos discriminatorios que ellas, sobre todo en lo referente a "cargas familiares", o a la disponibilidad y capacidad de dedicación a la empresa.

D

Así que, a esto se referían con lo de "La robótica nos va a quitar puestos de trabajo"

c

https://weaponsofmathdestructionbook.com/
libro que estoy leyendo ahora mismo. Es mas que interesante y habla de temas como este.

D

#40 Perdona, si los datos indicasen que los hombres son mejores en algo a las mujeres ¿Consideras eso sesgo en los datos?
Es que no me queda claro de donde sacas que los datos con los que han alimentado la IA están sesgados.

D

#13 Yo quiero robots femeninos, que cocinen y la chupen.

D

#61 Un humano puede distinguir perfectamente si una persona negra es mujer o hombre, los mejores algoritmos de ahora fallan el 30% de las veces (para blancos es el 1% o así). Tu teoría podría explicar unas diferencias más pequeñas. No es por el contraste sino por la falta de ejemplos para clasificarlo:
http://news.mit.edu/2018/study-finds-gender-skin-type-bias-artificial-intelligence-systems-0212

Aquí otro paper sobre sesgos en la IA:
https://homes.cs.washington.edu/~my89/publications/bias.pdf

D

#55 Pero en ese ejemplo tiene razón. Lo de la clasificación de fotos de negros como de simios no tiene nada que ver con el racismo, por ejemplo. Pero cuando uno tiene prejuicios, quiere demostrar sus teorías aunque choquen con la realidad. ¿Verdad?

D

#65 El concepto de sesgo en los datos no tiene que significar que haya un "sesgo cognitivo". Lo que quiero decir es que si la IA está penalizando a las mujeres, es porque los datos, en su conjunto, resumen que las mujeres rinden peor. Lo interesante es que esto no tiene porqué verse a simple vista.

La razón por la que se produce ese sesgo en los datos puede ser que los datos hayan sido recogidos con criterios poco objetivos (por ejemplo, la opinión de jefes de equipo), pudiendo ser un reflejo de una discriminación. Otra posible razón (si los datos se han recogido objetivamente) es que las mujeres rindan peor.

Yo no sé cómo se han recogido los datos, así que sólo puedo especular con posibles causas.

box3d

#67 estoy hablando del paso anterior a la IA. La adquisición de datos, el paso de "hacer ver" al programa, donde el sesgo es imposible de meter.

En este paso, la información que obtienes es peor por la propia naturaleza de una cámara. Cuánta luz hace falta para distinguir la cara de alguien blanco? Cuánta más luz hace falta para alguien no tan blanco?

Ahora añade que lo quieres hacer en tiempo real con una cámara de mierda (mi caso) pues pasa que curiosamente falla más con "ciertos colores"

j

#10 Fuente? Tiendo a desconfiar de frases falaces del estilo de "Todo el mundo sabe que..."

vixia

#48 Este es un problema del que se ha hablado mucho, recomiendo esta columna de hace dos años: https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html

Menciona además un estudio de ProPublica sobre el software con el que algunos juzgados en EEUU determinan las penas y posibilidades de reincidencia de criminales, y que por sistema declaraba que los criminales negros tenían el doble de posibilidades de reincidir que los blancos. Que el software puede ser mejor que un humano es discutible, pero que hay que monitorizar y cambiar "humanamente" los sesgos también.

D

#52 Tampoco soy yo un experto en procesamiento de imágenes, pero me consta que la IA está bastante lejos de ser capaz de reconocer algo tan preciso como que en una foto se vea a una persona lavando platos. Distinguir el sexo probablemente sí se haya conseguido.

Los modelos de este tipo tienen parámetros de convergencia. Yo no sé qué modelo han usado. Con un modelo de regresión (que no entra dentro de la IA) tienes un p-valor que te indica si el peso asociado a un factor (por ejemplo, el peso asociado a ser hombre o mujer) es significativo. Así, si tienes muy pocas mujeres en tu modelo, el p-valor lo que va a hacer es indicarte que no te puedes fiar de ese parámetro, porque no tienes bastante tamaño muestral. No se introduce ningún sesgo, símplemente el modelo fracasa al entrenarse.

D

No deis a las feministas un motivo para que no permitan avanzar a las IA sin que ellas metan mano o tendremos un retraso que ni la santa inquisición causaba en su época wall

D

#42 Eso no funciona así. La IA no está programada para gestionar los datos de una manera concreta. Ella auto evalúa los datos de entrada y en función de eso busca correlaciones y factores predominantes para identificar los mejores candidatos. Y de alguna manera (sin intervención humana) ha llegado a la conclusión que los candidatos cuyo perfil se intuye que es femenino serán peores empleados.

briarreos

#58 a las revistas que iban a publicarlo les cayó todo el aparato mediático de género en los huevos, y se tiraron atrás.
El resumen (eres un poco vago, por cierto :): Entre un grupo grande de hombres, tiende a haber más estúpidos y más genios, que entre un grupo de mujeres, que no llegan tanto a los extremos.

D

#26
Lo que habrán hecho es darle un multiplicador de productividad a las mujeres

Discriminación positiva en IA?

D

#58 Mentira. Se da el caso de un paper aceptado y a punto de publicarse, creo que con premio y todo, que por presión de feministas se retiró y de censuró en otros medios.

D

#41 Negativo por decir tonterías sin fundamento.

D

Esto es debido a que amazon
Quiere gente buena en tecnología
La cosa cambiaría
Si reclutase gente para una guardería

Si has estudiado magisterio
No encontrarías trabajo
Porque entre las piernas
Te cuelga tu pene para abajo

jarenare

Borrado

sorrillo

#25 Existe la inteligencia innata, que tienen todas las personas actúen como actúen por el mero hecho de tener un cerebro que funciona, y luego está lo que reconocemos socialmente como inteligencia y que está fundamentada en el ejercicio en tareas específicas y habitualmente en la demostración de cierto nivel educativo.

Cuando afirmamos socialmente que alguien es muy inteligente o que es muy estúpido nos referimos a esto último, a cómo dentro de los cánones sociales aplican esa inteligencia innata que viene de meramente tener un cerebro.

Por otro lado están los sesgos, los que son socialmente más reconocidos son aquellos que afectan a la raza, al género o a posiciones políticas, etc. por poner algunos ejemplos.

En ese sentido existen indicios, estudios científicos, que apuntan a que los ciudadanos que entendemos con un nivel educativo superior están más radicalizados en sus posturas políticas, tienen más y mejores herramientas para elegir entre la información la que confirma sus sesgos y justificarse a sí mismos el motivo por el que descartan aquella información que los podría poner en entredicho.

Se habla de ello en este panel y batería de preguntas a uno de los participantes:

[ENG]
[ENG]

D

#38 Aparentemente estamos aprendiendo a escribir con google translator.

jarenare

#52 Estás suponiendo que se le ha entrenado con datos sesgados, lo que es mucho suponer. Dudo mucho que Amazon alimente su IA, en la que habrá metido esfuerzo y dinero, con datos sesgados para luego retirarla. Lo que sí puede pasar es que las discriminaciones positivas lleven a que una mujer con el mismo currículo que un hombre tenga peor desempeño en el trabajo, porque ha llegado a ese punto mediante ayudas.

Priorat

Hay varios casos de IA con sesgos. Lo bueno sería realmente estudiar el motivo por el que se producen estos sesgos. Que datos han llevado a la IA a juzgar con sesgo. Porque por algún motivo habrá llegado a esa conclusión la IA. Es un tema de la IA o es un tema de los datos con que se nutre a la IA. ¿Con que datos se nutre a la IA?

vixia

#8 Hay por ahí estudios en los que dicen que las mujeres tienden a escribir curriculos más extensos y con palabras más "colaborativas", mientras que los hombres tienden a usar términos más enérgicos, tipo "dirigir" o "liderar". Puede ser que el programa haya aprendido a premiar las combinaciones más frecuentes o más relacionadas con los empleados actuales. Aquí un estudio de una experta en machine learning sobre el tema, por si aporta alguna idea nueva: http://fortune.com/2015/03/26/the-resume-gap-women-tell-stories-men-stick-to-facts-and-get-the-advantage/

Priorat

#75 Intervención humana tiene: los datos de entrada.

D

#42 Soy informático, tengo unas nociones mínimas de los fundamentos de las redes neuronales y su entrenamiento y problemas relacionados, y te digo no tiene nada que ver con "sus sesgos".

vixia

#12 Una pena que trabajar en la mina estuviese prohibido para las mujeres hasta el 96, seguro que de no ser así habría muchas más https://elpais.com/diario/2006/05/14/domingo/1147578758_850215.html

SOBANDO

#39 Yo conozco a una.

Priorat

#73 Reconocer el sexo de una persona es más difícil que el hecho de que esté lavando platos. ¿Tú reconoces el sexo de cualquier otro animal que no sea un homo sapiens por su cara? Es de lo más difícil reconocer si una persona es masculina o femenina por su cara.

T

#82 Algunas veces es una lástima poder poner solo un positivo.

D

#72 Es que a la IA hay que cogerla con pinzas, porque es una herramienta que, por más que lleve la palabra "inteligencia" integrada en ella, de inteligente tiene poco.

Este tipo de técnicas son una forma perfeccionada de los modelos de regresión clásicos, y están diseñadas para predecir en base a ciertas variables, tras haberse entrenado con datos. Los problemas de este tipo de modelos son incontables. Por ejemplo: 1) Suponen una "linealidad" en los datos que no existe en la realidad (los sistemas IA corrigen esta suposición de linealidad, a cierto coste); 2) Suponen una "inmutabilidad" en los procesos que gobiernan los datos, siendo incapaces de prever cambios (por ejemplo, cambios sociales, como que los negros dejen de delinquir tanto); 3) Sólo reflejan las variables que se les dan como entrada, de modo que si hay algún factor importante que el investigador no contempla, el modelo nunca advertirá de ello, tratando de ajustarse lo mejor posible a los datos.

Usar modelos de IA está bien, pero nunca debe dejarse que estos tengan plena autonomía en la toma de decisiones, y menos en aspectos sociales como estos.

D

#69 Lo que quiero decir es que si la IA está penalizando a las mujeres, es porque los datos, en su conjunto, resumen que las mujeres rinden peor
¿No consideras entonces la opción más obvia que justificaría el sesgo humano y el de la IA?
Que en X tareas las mujeres sean mejores y en otras peores. Y lo mismo con los hombres.

SOBANDO

¿Si mostrase sesgo contra los hombes estaría bien?

D

La mayoría de las grandes empresas tienen sistemas de filtrado automático. Reciben cientos de CVs al día y utilizan este tipo de algoritmos para decidir cuales merecen ser evaluados.
Así que si tenéis más de 40 años y estáis hartos de mandar vuestro CV y que no os llamen de una oferta, pensad en este tipo de noticias y que posiblemente vuestra candidatura ni siguiera les ha llegado a los de recursos hunanos.

Priorat

#69 Por eso sería importante ver de que datos obtiene el sesgo y si son erróneos o no. O programar a la IA para que pueda contestar: ¿Por qué prefieres a hombres frente a mujeres? Y que nos diera ella la razón (ella, je, je, je, la inteligencia artifical)

D

#80 Eres todo un poeta

D

#91 Insisto en que no soy un experto en el tema, pero me sonaba que había trabajos sobre reconocimiento del sexo de la persona a través de la cara.

https://link.springer.com/article/10.1007/s11263-006-8910-9

Ahora te toca a ti encontrar el reconocimiento de lavado de platos :P.

1 2 3