EDICIóN GENERAL

El Poder Judicial estudia implementar robots que predigan sentencias

Hace poco estuve en una charla que hablaba sobre los peligros de esta tendencia.

La tecnologia consiste en entrenar un sistema usando todos los casos existentes, lo que a simple vista suena bien porque reduce parte de la carga a la hora de evaluar ciertos casos.

El peligro está en los sesgos. Al entrenar estos sistemas se le está diciendo indirectamente al sistema que la sentencia dada en todos los casos anteriores era correcta, y el sistema tenderá a perpetuarla. El problema es que muchas de esas sentencias se hicieron teniendo en cuenta el sesgo de nuestro sistema judicial.

Por poner un ejemplo, si el acusado es negro en USA el sistema cae mas fuerte sobre él. Para evitar esto los sistemas dicen - no añadimos la raza como parte de las variables que el sistema tiene en cuenta - sin embargo su barrio de origen (que si que formaba parte de los datos que se introducian al sistema) ya va a definir seguramente su raza.

El segundo problema es que estos sistemas son opacos al publico, e incluso aunque los resultados puedan ser estudiados (algo que no es facil, ya que las redes neuronales entrenadas al final son grandes matrices de numeros dificiles de interpretar), los procesos por el cual se han entrenado los sistemas no suelen ser publicos.

Asi que la cosa entra en un terreno turbio donde enseñamos a maquinas a ser como somos nosotros ahora, con nuestras virtudes y defectos, solo que nosotros podemos darnos cuenta de nuestros fallos, ellas no.
#71 Exacto, es muy importante cómo se entrena a la máquina, ése proceso debe ser público y revisable, es decir, se debe poder reentrenar a la máquina cada cierto tiempo.

menéame