Hace 5 años | Por SemosOsos a reuters.com
Publicado hace 5 años por SemosOsos a reuters.com

En efecto, el sistema de Amazon aprendió que los candidatos masculinos eran preferibles. Se penalizaron los currículos que incluían la palabra "mujeres", como en "capitán del club de ajedrez para mujeres". Y degradó a los graduados de dos universidades femeninas, según personas relacionadas con el tema. No especificaron los nombres de las universidades. Amazon cambió los programas para hacerlos neutrales a estos términos particulares. Pero eso no era garantía de que las máquinas no idearan otras formas de clasificar a los candidatos...

Comentarios

D

Todo el que haya sido responsable de un grupo de personas en el trabajo sabe por experiencia que las mujeres causan más problemas que los hombres, pero no lo dirá porque está mal visto.

D

#13 Yo quiero robots femeninos, que cocinen y la chupen.

g

#4 Pues sí, si lo dice The Guardian ...

Women must act now, or male-designed robots will take over our lives
https://www.theguardian.com/commentisfree/2018/mar/13/women-robots-ai-male-artificial-intelligence-automation

Valverdenyo

Es Inteligencio Artificiol.

T

#10 Al menos en albañilería, pesca de altura y minería eso no es verdad.

D

#7 Las razones por las que un sistema IA adquiere unos pesos determinados (que es lo que luego marca su comportamiento) no se pueden saber, del mismo modo que no pueden interpretarse esos pesos. Es una de las limitaciones de este tipo de técnicas. Lo que sí sabemos es que el sesgo observado es fruto de un sesgo en los datos. Osea que, o la recogida de datos no es objetiva, o las mujeres tienen un rendimiento peor (siempre en promedio). Lo más probable es que sea una combinación de ambas.

J

Pues esto tiene 2 opciones:
1. El modelo es incorrecto y da resultados incorrectos
2. El modelo es correcto y da resultados correctos que son politicamente incorrectos

briarreos

#36 el que tu me enseñas no trata de demostrar que los equipos con mujeres trabajan peor, si no todo lo contrario. Los que no se permiten son los puedan sugerir cualquier tipo de ventaja masculina.
Ejemplo:
https://quillette.com/2018/09/07/academic-activists-send-a-published-paper-down-the-memory-hole/

D

#10 Puedes dar datos de estudios que muestren que los equipos con mujeres trabajan peor?

g

"The company’s experiment, which Reuters is first to report, offers a case study in the limitations of machine learning."

Me encanta cuando periodistas que no tienen ni puñetera idea de lo que están hablando se ponen a emitir juicios de valor. roll

b

#4 Y falocentrista

briarreos

#29 no creo que pueda, porque ese tipo de estudios no se permiten

vjp

#41 si por que seguro que Amazon entrena a su IA con post de forocoches y programas de 13tv

Battlestar

#66 Cuidado, los SJW ya están en el caso y no les gusta nada que los robots se fabriquen basándose en el sistema binario de hombre-mujer

http://archive.is/lTy2D [eng]

box3d

#28 el contraste menor dentro del área comúnmente conocida como cara no tiene nada que ver en el análisis de imagen lol

L

Hombre el haber estado segregadas durante su educación a mi me parece algo que echaría para atrás tanto a hombres como a mujeres.

Habiendo otros/as candidatos que han estudiado en universidades normales, me parece normal que cuente como hándicap.

D

Venga valientes, a quemar karma!!

Gry

#91 la cámara del móvil de mi pareja acierta razonablemente bien el sexo y la edad de quien enfocas.

D

#10 no ha sido mi experiencia, tampoco puedo decir que los hombres sean más problemáticos.

D

#65 El concepto de sesgo en los datos no tiene que significar que haya un "sesgo cognitivo". Lo que quiero decir es que si la IA está penalizando a las mujeres, es porque los datos, en su conjunto, resumen que las mujeres rinden peor. Lo interesante es que esto no tiene porqué verse a simple vista.

La razón por la que se produce ese sesgo en los datos puede ser que los datos hayan sido recogidos con criterios poco objetivos (por ejemplo, la opinión de jefes de equipo), pudiendo ser un reflejo de una discriminación. Otra posible razón (si los datos se han recogido objetivamente) es que las mujeres rindan peor.

Yo no sé cómo se han recogido los datos, así que sólo puedo especular con posibles causas.

D

Es lo que ocurre cuando revisas los datos en bruto.

JohnBoy

#7 Ya... esa duda me ha quedado a mi también. Dice algo de que se basa en revisiones de plantillas anteriores que eran mayoritariamente masculinas, pero eso no terminaría de explicar del todo nada.

j

#10 Fuente? Tiendo a desconfiar de frases falaces del estilo de "Todo el mundo sabe que..."

D

#10 Yo soy antifeminazi premium.

Y tengo compañeras en las que confío al 200%, super trabajadoras, compañeras de las de verdad que no te dejan en la estacada nunca y tengo otras que son para darles de hostias y no parar. Lo mismo pasa con los tíos.

El sexo creo que aquí no pinta nada.

briarreos

#58 a las revistas que iban a publicarlo les cayó todo el aparato mediático de género en los huevos, y se tiraron atrás.
El resumen (eres un poco vago, por cierto :): Entre un grupo grande de hombres, tiende a haber más estúpidos y más genios, que entre un grupo de mujeres, que no llegan tanto a los extremos.

D

#48 La ausencia de datos de un grupo produce sesgos muy dificil de corregir. Si la IA ve que el 99% de las fotos con gente lavando platos son mujeres, creerá que la foto con un hombre lavando platos es una mujer.

Pero tienes razón en que faltan datos en la noticia para saber por qué se han creado esos sesgos.

D

#29 ¿no te vale el de la noticia? La IA asoció factores asociados a ser mujer con una menor productividad. Parece bastante objetivo.

squanchy

#28 Menuda pamplina. Amazon habrá entranado esta IA con los datos de los curriculums de sus empleados actuales, y el rendimiento que le da cada uno (que llevan tiempo midiendo según los envíos que saca adelante cada uno). Así que, de "sesgos de sociedad", nada de nada, si no datos contantes y sonantes. Tampoco hay que ser un genio, ni usar una IA, para darse cuenta que los varones tienen mejor orientación espacial y más fuerza física, hechos que ayudan sin duda a ser más productivos localizando objetos y empaquetándolos.

D

#13 If a non-diverse workforce is creating them, they are more prone to be implanted with unexamined, undiscussed, often unconscious assumptions and biases about things such as race, gender and class.

En realidad es todo lo contrario. El equipo del que habla la notícia ha intentado eliminar un sesgo y no lo ha conseguido.

Porque no era un sesgo sino su ausencia, y lo que realmente estaban haciendo era obligar a la IA a aplicar el sesgo que les molaba, lo que es mucho más difícil.

D

#10 Pues no será en mi empresa, que me callo.
Y no soy precisamente el feminista radical de la web.

jarenare

#52 Estás suponiendo que se le ha entrenado con datos sesgados, lo que es mucho suponer. Dudo mucho que Amazon alimente su IA, en la que habrá metido esfuerzo y dinero, con datos sesgados para luego retirarla. Lo que sí puede pasar es que las discriminaciones positivas lleven a que una mujer con el mismo currículo que un hombre tenga peor desempeño en el trabajo, porque ha llegado a ese punto mediante ayudas.

D

#95 Pues claro. nadie quiere proteger a los hombres, solo a las mujeres.

D

#66, y lo de cocinar no urge tanto

D

#52 Tampoco soy yo un experto en procesamiento de imágenes, pero me consta que la IA está bastante lejos de ser capaz de reconocer algo tan preciso como que en una foto se vea a una persona lavando platos. Distinguir el sexo probablemente sí se haya conseguido.

Los modelos de este tipo tienen parámetros de convergencia. Yo no sé qué modelo han usado. Con un modelo de regresión (que no entra dentro de la IA) tienes un p-valor que te indica si el peso asociado a un factor (por ejemplo, el peso asociado a ser hombre o mujer) es significativo. Así, si tienes muy pocas mujeres en tu modelo, el p-valor lo que va a hacer es indicarte que no te puedes fiar de ese parámetro, porque no tienes bastante tamaño muestral. No se introduce ningún sesgo, símplemente el modelo fracasa al entrenarse.

D

#5 E inteligente! lol

D

#16 pues tiene razón: ha demostrado que resulta más difícil doblegarla a criterios subjetivos.

D

No deis a las feministas un motivo para que no permitan avanzar a las IA sin que ellas metan mano o tendremos un retraso que ni la santa inquisición causaba en su época wall

D

#37 No es en absoluto objetivo. La IA aprende de la sociedad. Si la sociedad cree que las mujeres son peores, la IA aprenderá a discriminar a las mujeres. La IA discrimina contra negros y cree que los hombres lavando platos son mujeres. Si quieres te puedo mandar referencias.

D

La IA ha aprendido rápido que no puedes fiarte de seres que sangran por la vagina durante 5 días y no mueren.

Ramsay_Bolton

#95 Leticia dolera se tatuaria el logo de amazon en la teta izquierda.

Penetrator

#7 A lo mejor es que la IA ha llegado a la conclusión de que nada bueno puede salir de una "universidad femenina". Que aquí nos quejamos del Opus y su segregación por sexos pero allí lo llevan al sigueinte nivel.

¿Os imagináis lo que pasaría si a alguien se le ocurriera hacer una universidad masculina?

neotobarra2

#10 lol Claro que sí, todo el que no diga cosas con las que tú estás de acuerdo, no es porque no las piensa, sino porque no se atreve...

Qué subiditos estáis algunos.

D

A nadie más le llama la atención que haya universidades femeninas en EEUU? Aquí no segregan por sexos ni las del OPUS.

D

#26
Lo que habrán hecho es darle un multiplicador de productividad a las mujeres

Discriminación positiva en IA?

D

#41 Negativo por decir tonterías sin fundamento.

D

#7 Lo del colegio es bastante simple.

Si eres el mejor del colegio, lo eres de los dos sexos. Si eres el mejor del colegio femenino (o masculino), eres el mejor de solo el 50% cuando el otro es el mejor del 100% de la población.

A grandes rasgos puedo entender perfectamente el sesgo; yo también apostaría por alguien que vaya a un colegio mixto a falta de conseguir más información sobre los candidatos.

HimiTsü

La cosa es que a mî, me hace sonrojarme. ( medio risa, medio vergüenza)

sorrillo

#25 Existe la inteligencia innata, que tienen todas las personas actúen como actúen por el mero hecho de tener un cerebro que funciona, y luego está lo que reconocemos socialmente como inteligencia y que está fundamentada en el ejercicio en tareas específicas y habitualmente en la demostración de cierto nivel educativo.

Cuando afirmamos socialmente que alguien es muy inteligente o que es muy estúpido nos referimos a esto último, a cómo dentro de los cánones sociales aplican esa inteligencia innata que viene de meramente tener un cerebro.

Por otro lado están los sesgos, los que son socialmente más reconocidos son aquellos que afectan a la raza, al género o a posiciones políticas, etc. por poner algunos ejemplos.

En ese sentido existen indicios, estudios científicos, que apuntan a que los ciudadanos que entendemos con un nivel educativo superior están más radicalizados en sus posturas políticas, tienen más y mejores herramientas para elegir entre la información la que confirma sus sesgos y justificarse a sí mismos el motivo por el que descartan aquella información que los podría poner en entredicho.

Se habla de ello en este panel y batería de preguntas a uno de los participantes:

[ENG]
[ENG]

P

#48 #84 ¿Alguno os habéis leído el artículo? Dice exactamente cómo se entrenó la IA y si, eran datos sesgados:

That is because Amazon’s computer models were trained to vet applicants by observing patterns in resumes submitted to the company over a 10-year period. Most came from men, a reflection of male dominance across the tech industry.

D

#40 Perdona, si los datos indicasen que los hombres son mejores en algo a las mujeres ¿Consideras eso sesgo en los datos?
Es que no me queda claro de donde sacas que los datos con los que han alimentado la IA están sesgados.

l

#44 "Second, their members scored higher on a test called Reading the Mind in the Eyes, which measures how well people can read complex emotional states from images of faces with only the eyes visible."

Resumiendo, el estudio se centra en una habilidad que se le da mejor a las mujeres. Si para puntuar el rendimiento se hubiera puntuado lo bien que se caza un ciervo hubiera ganado los grupos con mas hombres.

D

#17 Yo no he visto ni una en mi vida.

Priorat

#73 Reconocer el sexo de una persona es más difícil que el hecho de que esté lavando platos. ¿Tú reconoces el sexo de cualquier otro animal que no sea un homo sapiens por su cara? Es de lo más difícil reconocer si una persona es masculina o femenina por su cara.

vacuonauta

#41 no, no aprende con los criterios de la sociedad, sino con las variables de entrada y las condiciones de validación del resultado. Esta IA puede estar sesgando porque las variables de que analiza sean solo de rendimiento individuales y no tengan en cuenta cómo afecta el individuo al grupo.

D

#22 En USA está mal visto incluir tu foto en el CV y para ofertas de trabajo público es motivo de rechazo del candidato.

reithor

Amazon (mythology: female warrior).

Nathaniel.Maris

#12 Tú has trabajado en pocas obras con mujeres albañiles.

minardo

#4 del heteropatriarcado al heteromachinado...

box3d

#67 estoy hablando del paso anterior a la IA. La adquisición de datos, el paso de "hacer ver" al programa, donde el sesgo es imposible de meter.

En este paso, la información que obtienes es peor por la propia naturaleza de una cámara. Cuánta luz hace falta para distinguir la cara de alguien blanco? Cuánta más luz hace falta para alguien no tan blanco?

Ahora añade que lo quieres hacer en tiempo real con una cámara de mierda (mi caso) pues pasa que curiosamente falla más con "ciertos colores"

D

#42 Soy informático, tengo unas nociones mínimas de los fundamentos de las redes neuronales y su entrenamiento y problemas relacionados, y te digo no tiene nada que ver con "sus sesgos".

D

#100 Espérame que voy

D

#100 Me pasa constantemente y aplico el remedio obvio. De todos modos ahí va algo de karma.

Ofendiditos, sois un problema en MNM y un gran peligro para la sociedad.

D

Esto me recuerda a otro caso similar: http://www.abc.net.au/news/2017-06-30/bilnd-recruitment-trial-to-improve-gender-equality-failing-study/8664888

Básicamente, para luchar por la igualdad e igualar la contratación de mujeres a la de hombres decidieron, como experimento, eliminar cualquier referencia al sexo y a la etnia en el proceso de selección. Esperaban que gracias a esto aumentase la tasa de contratación de mujeres. ¿Resultado? tuvieron que cancelar el experimento por que estaban seleccionado menos mujeres.

The trial found assigning a male name to a candidate made them 3.2 per cent less likely to get a job interview.
Adding a woman's name to a CV made the candidate 2.9 per cent more likely to get a foot in the door.


roll

GatoMaula

#11 Sensacionalista y a otra cosa.

systembd

Si vas a construir una IA para procesos de selección de candidatos, lo mejor que puede hacerse es volver a los famosos "sistemas expertos" del milenio pasado. Eran poco más que una serie de reglas if-else encadenadas pero al menos sabías exactamente qué pasaba en cada punto del proceso y quién era el responsable.

Las IAs de hoy en día suelen basarse en cantidades absurdas de datos para entrenar modelos de "caja negra" así que, si hay un problema, no puedes terminar el error fácilmente, ni corregirlo. Y si además usas las evaluaciones y métricas de personas con sesgos, al final el modelo los aprende.

D

Esto es debido a que amazon
Quiere gente buena en tecnología
La cosa cambiaría
Si reclutase gente para una guardería

Si has estudiado magisterio
No encontrarías trabajo
Porque entre las piernas
Te cuelga tu pene para abajo

oliver7

#74 con la ciencia hemos topado amigo. Me temo que la nueva Inquisición no permitirá el avance científico.

D

Esta noticia te dice lo que tus prejuicios mandan, si eres machista pensarás que las mujeres son inferiores, si eres programador podrás intuir que quizás hayan pasado éstos sus sesgos a la inteligencia artificial.

D

#49 Es bastante largo, me puedes mandar un resumen?

Si un paper tiene resultados novedosos y con unos métodos fiables no te lo rechazan. Las revistas quieren esa publicidad.

box3d

#55 da la casualidad que justo he currado en ese campo. Mierda cámara + bajo contraste = "ruido"

D

La mayoría de las grandes empresas tienen sistemas de filtrado automático. Reciben cientos de CVs al día y utilizan este tipo de algoritmos para decidir cuales merecen ser evaluados.
Así que si tenéis más de 40 años y estáis hartos de mandar vuestro CV y que no os llamen de una oferta, pensad en este tipo de noticias y que posiblemente vuestra candidatura ni siguiera les ha llegado a los de recursos hunanos.

D

#91 Insisto en que no soy un experto en el tema, pero me sonaba que había trabajos sobre reconocimiento del sexo de la persona a través de la cara.

https://link.springer.com/article/10.1007/s11263-006-8910-9

Ahora te toca a ti encontrar el reconocimiento de lavado de platos :P.

D

#40 No se trata de que las mujeres rindan menos (que puede que lo hagan, pero no es el elmento relevante aquí). Si rindieran menos, pero tuvieran un curriculum que correla con ese rendimiento menor, la red neuronal no haría diferencias.

Si penaliza a las mujeres, lo que muestra es que ha aprendido que el curriculum de una mujer tiende a estar hinchado en comparación a su productividad. Y muy probablemente sea debido a las cuotas.

Me apuesto lo que quieras a que si pudieran meter la raza del candidato (o cualquier otro elemento sobre el que haya cuotas) ocurriría lo mismo.

vacuonauta

#54 como comentaba antes, no es sólo un problema de los marcadores objetivos, sino de qué marcadores se utilizan. Por ejemplo, si la IA fuera para fichar jugadores y solo se valoraran los goles y el precio, esa IA solo ficharía delanteros. En este caso, al valorar solo datos objetivos de desempeño INDIVIDUAL aparentemente ganan los hombres como grupo. A lo mejor, es hipótesis, las mujeres mejoran el rendimiento del grupo, pero si no se valoran esas variables, por muy objetivas que sean las otras, los resultados estarán sesgados.
Otra cosa es que sea real esto de beneficiar al grupo, pues por un lado son más empaticas y menos competitivas, pero en mi vida he visto las rencillas y rencores entre las tías de un antiguo curro en el que estuve.

Krab

#148 Yo lo que no entiendo es por qué razón se suministra a la IA información irrelevante. Se debería haber diseñado para que el sexo no fuese un factor a considerar en lo más mínimo, de forma que no pueda formarse un sesgo ni en un sentido ni en otro.

D

#42 Eso no funciona así. La IA no está programada para gestionar los datos de una manera concreta. Ella auto evalúa los datos de entrada y en función de eso busca correlaciones y factores predominantes para identificar los mejores candidatos. Y de alguna manera (sin intervención humana) ha llegado a la conclusión que los candidatos cuyo perfil se intuye que es femenino serán peores empleados.

D

#58 Mentira. Se da el caso de un paper aceptado y a punto de publicarse, creo que con premio y todo, que por presión de feministas se retiró y de censuró en otros medios.

briarreos

#105 dudo que si no te has leído el artículo donde se hablaba de el, por ser muy largo, te vayas a leer el paper. Pero bueno, por mi parte que no quede: https://arxiv.org/pdf/1703.04184.pdf

D

#28 En seguros de Auto, el sexo es un factor claro: las mujeres toman menos riesgos.

Pues bien, como eso era discriminación, se dictaminó que había que subir las primas de seguros a las mujeres.


https://www.theguardian.com/money/blog/2017/jan/14/eu-gender-ruling-car-insurance-inequality-worse


Y ha sido peor.

neotobarra2

#22 ¿Fuente?

Penetrator

#10 De ahí el viejo chiste:

¿Qué hacen tres neuronas en el cerebro de una mujer? Juntarse dos y criticar a la otra.

d

#52 ¿Y no crees que si la IA ve que el 99% de mujeres analizadas son menos productivas va a creer que efectivamente son menos productivas? El posible sesgo no puede venir de ahí.

1 2 3