Google despide a una de sus investigadoras de inteligencia artificial por cuestionar los sesgos de actuación

Timmit Gebru, empleada de Google, fue despedida recientemente tras exigir a sus superiores una respuesta sobre porqué debía eliminar una publicación de un informe. En su petición, Gebru afirmó que si no obtenía una respuesta en un tiempo prudencial, abandonaría la empresa. Google no accedió su petición y aceptó rescindir su compromiso sin dar una mayor explicación. Criticaba que las personas con un tono de piel más oscuro tenían mas dificultad para utilizar los sistemas de reconocimiento facial por los fallos que este ofrecía.

[#1 Desactivado]

En reddit comentaban que realmente la investigadora pidió la revisión de su paper fuera de terminio, no esperó a que lo revisarán e intentó publicarlo (en nombre de Google). Por esa acción ya te mereces un despido sea donde sea.

Google rechazó la publicación, y entonces la investigadora envió un email a sus compañeros animándolos a dimitir. Después presentó una serie de condiciones para seguir trabajando en Google. Al no llegar a un acuerdo, la investigadora dejó de trabajar para Google.

[#4 m4k1n4v4j4]

#1 ¿Entonces la inteligencia artificial de google no está sesgada y es mentira que los negros tengan más problemas en usar el reconocimiento facial?

[#6 Desactivado]

#4 creo que no he dicho nada de eso

[#9 m4k1n4v4j4]

#6 No solamente no lo has dicho sino que lo has obviado totalmente reduciendo la noticia a un "lo presentaste fuera de plazo".

[#12 Desactivado]

#9 leete este thread: https://www.reddit.com/r/MachineLearning/comments/k6467v/n_the_email_that_got_ethical_ai_researcher_timnit/

Y en especial este comentario: https://www.reddit.com/r/MachineLearning/comments/k6467v/n_the_email_that_got_ethical_ai_researcher_timnit/gejp2bd/

[#69 Saigesp]

#12 La traducción del 1er enlace, por si a alguien le interesa:

"Timnit fue coautor de un documento con cuatro compañeros de Google, así como con algunos colaboradores externos que necesitaban pasar por nuestro proceso de revisión (como es el caso de todos los documentos presentados externamente). Hemos aprobado docenas de artículos que Timnit y/o los otros Googlers han escrito y luego publicado, pero como saben, los artículos a menudo requieren cambios durante el proceso de revisión interna (o incluso se consideran inadecuados para su presentación). Desafortunadamente, este trabajo en particular sólo fue compartido con un día de antelación a su fecha límite -requerimos dos semanas para este tipo de revisión- y luego, en lugar de esperar la opinión del revisor, fue aprobado para su presentación y enviado. Un equipo interfuncional revisó el documento como parte de nuestro proceso regular y los autores fueron informados de que no cumplía con los requisitos para su publicación y se les dio retroalimentación sobre el porqué. Ignoró demasiadas investigaciones relevantes - por ejemplo, habló sobre el impacto ambiental de los modelos grandes, pero ignoró las investigaciones posteriores que mostraban eficiencias mucho mayores. Del mismo modo, planteó preocupaciones sobre el sesgo en los modelos de lenguaje, pero no tuvo en cuenta las investigaciones recientes para mitigar estos problemas. Reconocemos que los autores estaban muy decepcionados con la decisión que Megan y yo tomamos finalmente, especialmente porque ya habían presentado el documento. Timnit respondió con un correo electrónico en el que se exigía que se cumplieran una serie de condiciones para que ella pudiera seguir trabajando en Google, entre ellas revelar las identidades de todas las personas con las que Megan y yo habíamos hablado y a las que habíamos consultado como parte de la revisión del documento y la respuesta exacta. Timnit escribió que si no cumplíamos estas demandas, ella dejaría Google y trabajaría en una fecha límite. Aceptamos y respetamos su decisión de renunciar a Google. Dado el papel de Timnit como investigadora respetada y como gerente de nuestro equipo de Inteligencia Emocional Ética, me siento mal de que Timnit haya llegado a un punto en el que se sienta así por el trabajo que estamos haciendo. También me siento mal porque cientos de ustedes recibieron un correo electrónico esta semana de Timnit diciéndoles que dejaran de trabajar en programas críticos de DEI. Por favor, no lo hagan. Entiendo la frustración sobre el ritmo de progreso, pero tenemos un trabajo importante por delante y necesitamos seguir en él."

[#57 Desactivado]

#9
El titular de la noticia dice que la han despedido cuando realmente la propia noticia dice que ha dimitido.
El que obvia la noticia eres tu, no a quien le respondes.

[#35 Desactivado]

#6 Pero eso le da igual. El ha venido a hablar de su libro.

[#11 La_Conquista_Del_Mundo]

#4 buena pregunta

[#13 Zerjillo]

#4 Puede q la herramienta tenga sesgo. Pero aquí lo importante es saber si el despido es por ese motivo o por otro. Aparte está la discusión del motivo del sesgo q pueda haber en el reconocimiento. Con casi total probabilidad no es intencionado y se debe a motivos técnicos. Pero no dejemos que eso nos chafe una acusación de racismo.

[#18 m4k1n4v4j4]

#13 Puede que la herramienta tengo sesgo racista, pero eso es lo de menos, lo importante es si google la despidió correctamente o incorrectamente, pero recordad que la culpa es del informático, los racistas no existen.

[#77 MrTomato]

#18 ¿No podrían ser todo correcto?

* Que la herramienta falle y deban corregirla.
* Que los procedimientos de la publicación del paper no se hayan respetado.
* Que sea legítimo y ético que Google no acepe sus exigencias.

[#81 Zerjillo]

#18 No digo que sea lo importante. Es de lo que se habla en la noticia.

Respecto a lo del sesgo, la culpa no es del informático. Pero casi seguro que no es intencionado. Hay muchas opciones por las que el algoritmo puede no funcionar bien que no implican racismo.

[#17 Desactivado]

#4 Nadie duda eso, es algo bien conocido. Esta notica es un cagarro, no aporta casi nada de información.

[#31 jarenare]

#4 funcionar peor con los negros no es tener sesgo racista. Si por ejemplo tienes menos contraste en la imagen y eso es importante para el algoritmo, vas a tener peores resultados. Tener sesgo racista es tener metido en un algoritmo "si es negro no le dejes desbloquear" y pondría la mano en el fuego por que eso no existe.
La chica podría haber puesto que los resultados con pieles oscuras son peores y que hay que buscar alternativas para mejorarlo, pero decir que un sesgo racista es mentir.

[#48 varios]

#31 es que lees primero sesgo racista y luego más abajo pone "Criticaba que las personas con un tono de piel más oscuro tenían mas dificultad para utilizar los sistemas de reconocimiento facial por los fallos que este ofrecía."
¿Eso es racista?
¿Y si también pasa con gente con gafas o con calvos?

[#51 jarenare]

#48 estás diciendo lo mismo que yo

[#85 varios]

#51 por eso te había votado positivo.

[#86 jarenare]

#85 nunca lo miro, sorry

[#53 Euripio]

#31 Tener un sesgo racista es tan simple como que el 99% de las fotos con las que entrenan la IA sean de blancos.
Automáticamente la IA va a incluir "rostro pálido" en su definición de "humano".

Por otro lado #1 no entra en ese tema, dice que no la despidieron sino que dimitió, y que fue porque no la dejaron pedir revisión fuera de plazo ni publicar en nombre de Google algo no revisado por Google, asuntos que no tienen nada que ver con el contenido de su artículo, del que, además, no tenemos información suficiente para juzgar.

[#66 jarenare]

#53 ¿tú te crees de verdad que entrenan el modelo con un 99% de fotos de blancos?

[#68 elvecinodelquinto]

#66 Entrenan con lo que pillan. Y a día de hoy en las DB de imágenes hay más blancos que negros, esto es así.

[#75 jarenare]

#68 no sé si lo dices con conocimiento de causa o porque es una suposición tuya

[#78 elvecinodelquinto]

#75 Con conocimiento de causa. Pero vamos, si tienes alguna evidencia de que en las bases de datos accesibles hay mas imágenes de negros que de blancos apórtala y lo vemos.

[#79 jarenare]

#78 hombre, es tu tesis, demuéstralo tú, no tengas la jeta de pedir que te la demuestren los demás. Además, lo debes tener fácil, ya que dices que hablas con conocimiento de causa

[#82 elvecinodelquinto]

#79 No es mi tesis, es un hecho, no sé que te ha hecho pensar que esto era un debate.

Lo único que he hecho es animarte a que si dispones de información que yo desconozco, la compartas por un mero interés didáctico.

[#83 jarenare]

#82 venga, bah, es un hecho, porque tú lo dices, que google ha entrenado su sistema de reconocimiento facial con una BBDD sesgada por raza. Por supuesto es que no tenían dinero para comprar una mejor, ya que todo el mundo sabe que no tienen ni dinero ni acceso a otros datos mejores, los pobrecitos.

Si es que de donde no hay no se puede sacar...

[#84 elvecinodelquinto]

#83 Que tendrá que ver el dinero con esto que estamos comentando.

[#32 zentropia]

#4 menudo hombre de paja te has marcado.

[#47 lectorcritico]

#4 Yo entiendo que es logico que sea mas dificil reconocer las formas y el relieve de un objeto mas oscuro que uno mas claro. El negro adelgaza porque no resalta los relieves y aplana las formas, igual que una luz frontal.

Por otra parte, una IA aprende de los datos que le han dado. Si reciben menos ejemplos de orientales o negros, le sera mas dificil discernir las diferencias.
La explicacion de #1 parece convincente y las publicaciones pecan muchas veces de exagerar y tergiversar, pero google tambien ha tenido despidos de justificacion dudosa.
https://medium.com/el-saco-del-coco/este-es-el-manifiesto-machista-de-google-y-esta-es-la-respuesta-que-ha-recibido-86786c012bd6

[#55 m4k1n4v4j4]

#47 El racismo no tiene que ser consciente, muchos de nuestros malos hábitos son totalmente inconscientes y fruto de la educación recibida, igual que a las IAs se las "entrena" a nosotros nos educan. Mucha gente es racista y machista y no se dan cuenta, son totalmente inconscientes, por eso se enseña en el colegio que ser racista está mal, y que ser machista está mal. Y por eso el progreso trata de luchar contra ese racismo inconsciente mediante la educación y las leyes, estas últimas porque hay mucho racista inconsciente.

[#58 lectorcritico]

#55 Yo diria que somos injustos en muchas ocasiones. El racismo es injusto, el machismo y la discriminacion por sexo tambien. Tratar a alguien diferente por ser mas atractivo o bello es injusto pero no tiene nombre.
Muchas veces es dificil discriminar los motivos de injusticias y si es por un ismo o no.
Y muchas veces se asevera que es un -ismo, cuando puede que como poco no esté claro.

[#67 elvecinodelquinto]

#4 Que cansino el rollo éste de la IA sesgada... En el primer dataset de entrenamiento había más blancos y por eso funciona mejor con blancos. En el siguiente la muestra será más amplia y variada y funcionará estupendamente con todo el mundo.

[#7 teseo]

#1 ¿Podrías compartir el enlace?

[#8 Desactivado]

#7 https://www.reddit.com/r/MachineLearning/comments/k6467v/n_the_email_that_got_ethical_ai_researcher_timnit/

[#21 teseo]

#8 Gracias.

[#10 ailian]

#1 Ah, bueno, si lo dicen usuarios de reddit será verdad.

[#14 Desactivado]

#10 es el email que ella envió, y el email que su manager después envió. También han puesto links a discusiones previas en twitter donde la investigadora se pasa de la raya

https://www.reddit.com/r/MachineLearning/comments/k6467v/n_the_email_that_got_ethical_ai_researcher_timnit/gejp2bd/

[#24 m4k1n4v4j4]

#14 De hecho lo más importante es hablar de esta mujer en lugar de hablar de los sesgos racistas de una herramienta de google.

[#26 Desactivado]

#24 si el tema principal son los sesgos cognitivos de la IA quizá no deberían haber puesto un titular falso y sesgado en la noticia.

No la despidieron "por cuestionar los sesgos".

[#28 Desactivado]

#24 No ves absurdo acusar de racismo a un software.

Probablemente el sistema sea menos eficiente con personas de piel oscura, pero eso no lo hace racista.

[#30 m4k1n4v4j4]

#28 Ese software no se comporta igual ante usuarios de diferente color de piel, ¿que palabra debo usar?

[#33 Desactivado]

#30 Sesgado, al igual que la noticia.

La inteligencia artificial generalmente utiliza miles de ejemplos para entrenar su algoritmo. Si al algoritmo le pasas 10.000 imagenes de las que 4.000 son de personas de color y 6.000 son de raza blanca, el algoritmo estara sesgado.

Esto no significa necesariamente que quien haya recolectado las imagenes de entrenamiento sea racista, quizas ni siquiera se haya dado cuenta y que la razon real este en que en todas las imagenes de caras que hay en internet, el 60% son de raza blanca por ejemplo, y que todas esas imagenes de entrenamiento se hayan descargado de manera aleatoria.

[#49 snowdenknows]

#33 Si no se han dado cuenta de que hay que meter 50% de todo para evitar sesgos y que funcione bien, lo cual es de 1ro de IA...

[#54 Pérfido]

#49 ¿"hay que meter 50% de todo"?

Esto va a peor...

[#65 snowdenknows]

#60 Es cierto, aunque he mirado y dependería de cada caso, si es para un problema de clasificación o no tienes suficientes datos sí se podría recomendar balancear la muestra https://stats.stackexchange.com/questions/227088/when-should-i-balance-classes-in-a-training-data-set cc #54

[#60 Desactivado]

#49 Mentira, no hay que meter el 50% de todo. Imaginate que entrenas una IA para que reconozca una raza especifica de gatos X. Los gatos de esta raza son marrones el 80% del tiempo y blancos el 20%. Si entrenas el algoritmo con un 50% de cada color, va a ser mucho mas posible que cuando vea un gato de color blanco de una raza que no es X, tenga mas posibilidades de pensar que SI es un gato de esa raza porque el algoritmo no ha sido entrenado con ese sesgo.

[#73 elvecinodelquinto]

#49 ke dise loko

[#62 Desactivado]

#33 Necesito clasificar una cosa de mi comentario. Que un algoritmo este sesgado no significa necesariamente que sea malo.

Poniendonos en un extremo, si la gente de raza negra representara solo un 1% de la poblacion, pero se entrena al algoritmo con un 50% de las imagenes de ejemplo, es mucho mas probable que el algoritmo tienda a confundir personas de raza blanca con personas de raza negra. Generalmente un algoritmo necesita ser entrenado con informacion de la vida real, porque se basa en estadistica y en la ley de los grandes numeros.

[#36 Desactivado]

#30 Un software racista es un software diseñado para discriminar a proposito por raza. No parece que sea el caso.

[#38 m4k1n4v4j4]

#36 No sabía que la intención estaba dentro de la definición de racismo, siempre pensé que había racistas que no eran conscientes de ello y que por eso se necesitaba más educación. Es más, pensaba que el racismo era una consecuencia de algo en lugar de ser una motivación.

[#80 Desactivado]

#38 Definición de racismo: Ideología que defiende la superioridad de una raza frente a las demás y la necesidad de mantenerla aislada o separada del resto dentro de una comunidad o un país.

[#39 casius_clavius]

#30 Conozco algo del mundo de la IA. Los algoritmos de IA no tienen ninguna preferencia. Los sistemas necesitan un entrenamiento que normalmente supone decenas de miles de ejemplos. Muy a menudo los datos iniciales tienen errores. Malas etiquetas, mala categorización, ejemplos insuficientes o incompletos, etc. Puede que alguien haya proporcionado datos que provoquen ese comportamiento de manera consciente y malvada, pero lo más probable es que se trate de unos datos de entrenamiento deficientes. Pasa con personas, animales, vehículos, piezas de repuesto, números y cualquier objeto.

[#44 m4k1n4v4j4]

#39 El racismo no tiene que ser necesariamente consciente, no se por qué muchos pensáis que es así en este hilo. Es una cuestión de educación y a las IAs se las educa o entrena. Si recibes educación racista o machista puede que inconscientemente la pongas en circulación cuando interactúas con otros seres.

[#71 elvecinodelquinto]

#30 versión 1.0

[#52 Pérfido]

#24 precisamente de eso va la noticia....

[#56 m4k1n4v4j4]

#52 ¿De la mujer o de los sesgos racistas de google?

[#59 Pérfido]

#56 prueba a leer el titular...

[#61 m4k1n4v4j4]

#59 Prueba a leer la noticia.

[#63 Pérfido]

#61 ya lo he hecho, y los reddits también.

Céntrate.

[#64 m4k1n4v4j4]

#63 ¿Dicen algo sobre sesgos racistas en la noticia?

[#45 Pérfido]

#10 aplica el mismo rasero para la versión de la ex empleada.

[#34 zentropia]

#1 para más inri pidió como condición para no marcharse que le dieran los nombres de los evaluadores. Con una actitud así mejor fuera.

[#2 cosmonauta]

Estaría bien incluir algo de información sobre ella en la noticia.

Tiene un CV potente

https://ai.stanford.edu/~tgebru/

[#5 angelitoMagno]

¿La misma Google que despidió a alguien por decir en un foro interno que la empresa sufría de una "cámara de eco" en la que no permitía que nadie discrepara de los procedimientos que se aceptaban de inicio como correctos?

Que extraño.

[#3 Desactivado]

Una partida de ajedrez a cuatro colores:
1. La cotización de GOOGLE en bolsa.
2. La opinión pública sensibilizada e hiperreactiva.
3. El equilibrio jerárquico y de responsabilidades de la empresa.
4. La competencia tecnológica de la compañía.
El único rey que no puede recibir un jaque es el 1. pero de los otros tres alguno deberá pagar por un jaque mate.
Con un algoritmo asiático esto no pasa.

[#20 koe]

#3 muy bueno, las cosas van por ahí.
Nuevos tiempos

[#15 zap123]

Dios es racista. Cómo si no se explica que la gente con la piel oscura "refleje" menos fotones que la gente con la piel más clara? Y no sólo eso, al menos podría haber hecho que la relación señal/ruido fuera mayor cuanto menos fotones lleguen a un sensor, pero nooooooo, tenia que volver a joder a la gente de color.
Y los de Google se lo podrían haber currado y diseñado una IA que diese mejores resultados cuanto menos información disponible tenga, pero como también son racistas...

[#16 slayernina]

No sé a qué viene la sorpresa, esto lleva pasando en ciencia y tecnología desde el principio. Para que una IA reconozca instrucciones de voz tienes que poner o tener voz de señor porque chorprecha, los programadores son señores. Y no me meto en las burradas de las automovilísticas con los airbags, que hasta bien entrados los 90 se permitió que se cargaran o lesionaran gente de por vida porque los ocupantes se salían del esquema de "hombre estadounidense de 1.80 de X peso".

Lo peor no es que haya problemas, es que haya problemas y la empresa pase de solucionarlos

[#23 koe]

#16 los romanos harían lo mismo con las alpargatas para los nuevos pueblos adheridos.

Lo de mirar al pasado con las gafas del presente... Distorsiona un poco lo que ves

[#70 slayernina]

#23 No estamos hablando de romanos de hace miles de años. Hablamos de cuestiones mucho más sencillas y cercanas. A Sally Ride, los que la mandaron al espacio, le preguntaron si 100 tampones serían suficientes para los 6 días que iba a estar en órbita. Y las mentes prodigiosas masculinas de las época (los únicos) se los dieron. Atados por las cuerdecitas como una ristra de longanizas. Ni siquiera sabían cómo meaban las mujeres. En el 82.

Oséase, que sí, los sesgos afectan a la seguridad de los involucrados y al futuro de la ciencia

[#76 koe]

#70 lo que quiero decir es que respires.
Que las cosas no van de buenos y malos.

[#25 Desactivado]

#16 No es porque los "programadores" son señores, es por los sesgos inherentes a los datos. Interpretabilidad y lucha contra los sesgos es todo un campo en ML, no se puede decir que no haya concienciación al respecto y mucho menos en Google cuya imagen está muy expuesta a este tipo de cosas.

[#41 casius_clavius]

#16 No en este caso. La IA y en concreto el aprendizaje automático no se basan en ninguna premisa inicial. Normalmente el mal funcionamiento viene de un conjunto de datos de entrenamiento con errores.

[#74 elvecinodelquinto]

#16 ke dise loko

[#27 Aurum.Turbo]

Dimite. Cuando te vas voluntariamente de una empresa se dimite, no te despiden, un poco de seriedad por favor.
"Gebru afirmó que si no obtenía una respuesta en un tiempo prudencial, abandonaría la empresa"

[#37 Desactivado]

#27 Que la realidad no te estropee un buen titular.

[#22 Ranma12]

Para ser justos, es lógico que los negros tengan más problemas en usar el reconocimiento facial:

[#29 ipto]

#22 ¿ Donde está Wally ?

[#50 PanConAjo]

#22

[#19 jarenare]

Lo peor no es solo la discriminación de Google en el reconocimiento facial a los negros, sino la discriminación manifiesta en el funcionamiento de su reconocimiento de voz, que ningunea claramente a los de Murcia

[#40 Desactivado]

Google despide... investigadora pide la cuenta. Titular sensacionalista.

[#42 Desactivado]

#40 Venía a decir esto. Solo que yo la he votado erronea.

[#46 TierrasRaras]

El titular es incorrecto. No cuestionaba los sesgos, sino todo lo contrario.

[#43 Desactivado]

Es alucinante como ha cambiado Google con los años, don't be evil era su eslogan...

[#72 slayernina]

#43 No te engañes. Internete y sus mundos siempre ha sido el hogar de los frikis del cole que no se comían una rosca y el jugador de rugby les partía la cara y ahora rezuman odio. Los plurales son sus usuarios

[#87 Desactivado]

#72 bueno, de hecho yo era de esos, víctima del bullying durante la egb, acabé el cole sin amigos y pasé una adolescencia pésima hasta que me puse internet y conocí en el IRC a parte de mi actual círculo de amistades. Has pinchado hueso amigo