Reflexión sobre la necesidad de establecer mecanismos para auditar los algoritmos que tomarán decisiones que afectarán a las personas: "Es preciso determinar el ámbito de responsabilidad de las empresas detrás de cada “robot”. Pero también es necesario imponer medidas de seguridad, como por ejemplo, la auditabilidad, sobre los algoritmos. Y esto no lo digo yo, lo dice el art 22 del Reglamento General de Protección de Datos."
Menudo lío se monta por no saber cómo funciona el software libre (o no querer que en temas sensibles se pueda establecer la obligación de usar sistemas libres y auditables por cualquiera)
La transparencia plena (la publicación completa del código fuente de un algoritmo) no es ni tiene por qué ser suficiente para acreditar la justicia de premisas o la regularidad de funcionamiento del sistema: hay muchos factores relevantes que no son controlables así.
La cosa es bastante más compleja. Por ejemplo, por muy libre que sea el código, ¿cómo sé que el binario es la versión compilada de ese código, y no de otro? ¿Cómo sé que el compilador no ha hecho perrerías y ha introducido funcionalidad que no estaba en el código?
El problema de todo esto es que a lo que se tiende es a la inteligencia artificial. Una IA no es un algoritmo, sino un sistema que necesita unas directrices y un entrenamiento previo. Una vez entrenado lo suficiente, el sistema es una caja negra que nunca sabrás como procesa la información internamente.
Puede que con entradas muy parecidas se obtengan respuestas distintas, y nunca podrás saber (sólo intuir) el motivo de la discrepancias en las respuestas.
Comentarios
Menudo lío se monta por no saber cómo funciona el software libre (o no querer que en temas sensibles se pueda establecer la obligación de usar sistemas libres y auditables por cualquiera)
#1 Lee el artículo, ya habla de eso:
La transparencia plena (la publicación completa del código fuente de un algoritmo) no es ni tiene por qué ser suficiente para acreditar la justicia de premisas o la regularidad de funcionamiento del sistema: hay muchos factores relevantes que no son controlables así.
La cosa es bastante más compleja. Por ejemplo, por muy libre que sea el código, ¿cómo sé que el binario es la versión compilada de ese código, y no de otro? ¿Cómo sé que el compilador no ha hecho perrerías y ha introducido funcionalidad que no estaba en el código?
¿Cómo Auditar un Algoritmo? Malamente
El problema de todo esto es que a lo que se tiende es a la inteligencia artificial. Una IA no es un algoritmo, sino un sistema que necesita unas directrices y un entrenamiento previo. Una vez entrenado lo suficiente, el sistema es una caja negra que nunca sabrás como procesa la información internamente.
Puede que con entradas muy parecidas se obtengan respuestas distintas, y nunca podrás saber (sólo intuir) el motivo de la discrepancias en las respuestas.