La infraespecificación consiste en que las pequeñas variaciones arbitrarias que aparecen en los modelos a medida que entrenan impiden garantizar su buen funcionamiento en el mundo real. Este grave problema sugiere que habría que replantear todo el proceso de evaluación de las redes neuronales. No es ningún secreto que los modelos de aprendizaje automático adaptados y ajustados para lograr un rendimiento casi perfecto en el laboratorio suelen fracasar cuando se aplican en entornos reales. Esto se suele atribuir a una falta de coincidencia entre
Comentarios
#11 El problema es que hay tropecientas mil métricas que deben tenerse -o no- en cuenta dependiendo del problema, como es la precisión, la especificación, proporciones de falsos positivos... muchas son confusas en el sentido de que se parecen muchísimo entre sí, y si no tienes ojo para evaluar correctamente el modelo en base a esa métrica correcta, un dato anómalo puede tener consecuencias desastrosas.
Si entrenas una red neuronal con ejemplos muy concretos, se focalizará en esos ejemplos y funcionará bien si siempre es todo igual, pero con algo diferente la cagará a lo grande porque los pesos de las neuronas están adaptados a algo muy concreto. Si das ejemplos más generales no acertará con tanta precisión pero será más robusto frente a datos anómalos.
Suma a eso cosas como el problema de "la caja negra" o "la maldición de la dimensionalidad" y puedes tener un serio problema. Lo "bueno" es que las herramientas para validar los modelos es estadística pura y dura, y eso lo tenemos más controlado.
#13 hey, gracias por el resumen. Estuve curioseando en la teoría y la verdad que tu comentario me viene genial para entender mejor cómo es el proceso para crear estos algoritmos en industria
#18 Si tienes curiosidad por las Redes Neuronales, el mejor libro sin duda en Español -y de los mejores en cualquier otro idioma- es el de "Redes neuronales" de Fernando Berzal, profesor de la UGR. Se vende en Amazon y es de lo mejor que he visto.
Por eso salen racistas y machistas?
Resulta que no es tan fácil jugar a ser dios
#2 lo mismo da jugar a ser un leprechaun, ninguno existe
#2 Skybet se retrasa 10 años...
#6 ¿Skybet? ¿Eso qué es, el Skynet de las casas de apuestas?
Anda mira, precisamente de cosas así iba mi TFG. Con lo que me espía Google y no me lee eso...
#9 solo por curiosidad, lo que yo entiendo del artículo es que efectivamente la IA no tiene ni puta idea de lo que hace y cuando le das una situación verosímil pero poco común te la puede liar y además aunque hayan sido entrenadas de forma similar las situaciones en las que falla pueden ser diferentes. Es correcto? Porque la primera parte la veo muy de cajón
¿Esa no es la explicación que "El Arquitecto" le da a Neo sobre su propia existencia?
#15 sí sí, si no digo que sea peor claramente, pero la diferencia aquí está en el cómo fallan. Los errores humanos son mucho más previsibles, los de las máquinas pueden ser totalmente catastróficos pues no tienen consciencia alguna del porqué de las cosas que están haciendo, al menos en el estado actual de la IA.
#17 Los errores humanos son igual de impredecibles y catastróficos, incluso con personal superenttrenado y con 2 AI humanas se producen muchas muertes (hay ejemplos a docenas en accidentes de aviación por ejemplo).
Que se la guarden para cuando haya que acabar con skynet
es un problema. Por mucho que entrenen a la IA, nunca estarán seguros de por dónde va a salir. Lógico por otra parte. Es estadística como los humanos.
de todas formas para lo que ha sido entrenada, aunque no perfecta, será muy superior a los humanos
#8 según el artículo el problema es que en general sí, pero un día la situación será un poco inusual y puede desparramar por cualquier lado. Lo cual es gracioso si confunde la cara de tu amigo con la de un actor porno, pero no tanto si te tiene que extirpar el bazo.
#10 una IA de momento no puede extirpar bazos, al menos como un cirujano. Una IA puede ganar a cualquier jugador de ajedrez pero no puede mover fichas de cualquier tablero de ajedrez. Los humanos tendemos a pensar que la cosas que hacemos solo nosotros y no otros animales son las más complejas y no es así. Es muchísimo más complejo, muchos órdenes de magnitud más, ser capaz de mover fichas de cualquier tablero de ajedrez que ganar al ajedrez a todos los humanos.
No creo que de momento dejen a una IA extirpar bazos sin supervisión. Otra cosa es un algoritmo programado para ese bazo concreto. Programar eso cuesta más que pagar al cirujano.
#12 era un ejemplo, lo primero que se me vino a la mente. Me da igual este, que conducir un coche, son tareas que pueden ser vitales y el hecho de fallar imprevisiblemente es un problema grave.
#16 más fallan los humanos y otros animales que una IA en alginas tareas entrenadas. Tareas simples claro, jugar al ajedrez por ejemplo, no jugar al fútbol como messi.
#10 Pero tampoco es algo que no le pase a los humanos también, equivocarse es algo completamente normal en el ser humano.