Hace 5 años | Por Samu__
Publicado hace 5 años por Samu__

Comentarios

D

#5 ▲▲ Esto.

Que se conozcan los datos que hay en la red neuronal no significa que puedas entender ni controlar porque razona como lo hace. Poder exportar los coeficientes a una hoja de excel en la que quedarte mirando todos los números no es lo mismo que entender como llega al resultado.

EspañoI

#0 Este es mi campo de estudio. Efectivamente, sabemos como funcionan las redes neuronales, Las hemos creado nosotros!. Lo que nos estamos perdiendo es la mecánica para llegar a un resultado.

El concepto de Algoritmo de Caja Negra implica que existe un mecanismo para resolver un problema, pero solo controlamos las entradas y las salidas.
No somos capaces de formular un algoritmo que defina paso a paso como llegar a la misma conclusión que nuestra maquina, ya que lo ha encontrado por el método de ensayo y error.

Tomemos el celebre caso de las fotografías de iris. Cierta instancia fue capaz de predecir con un sorprendente 95% de acierto si una foto de un iris es de un hombre o de una mujer.
Los investigadores no saben como ha llegado esa instancia a la conclusión.

Si permitimos que la investigación acepte los algoritmos de caja negra, corremos el riesgo de no preveer el sesgo de la muestra, y amenaza seriamente la reproducibilidad del estudio.

https://www.xataka.com/robotica-e-ia/conocer-sexo-alguien-foto-su-retina-parecia-imposible-ahora-ia-ha-logrado-no-sabemos-como

https://www.xataka.com/robotica-e-ia/ahora-podemos-ver-como-piensa-un-algoritmo


editado:
cc #5

r

Ya lo han apuntado antes otros meneantes, pero es verdad que se puede decir perfectamente que es una caja negra porque no se conoce el proceso real.
Tu puedes conocer todos los pesos y todos los valores del sistema.
Pero si tienes una IA que conduce coches y funciona bien un 99.99% de los casos, pero hay una curva en concreto que no la toma bien, no hay manera de saber porque esa no y las otras si, no hay un proceso determinista que te lleve a ello.

Barquero_

Por esa regla de 3 no usariamos los dados ya que midiendo los ángulos distancias y aceleraciones sabemos que número saldrá, pero la realidad es mas compleja y caótica que las teorizaciones.
Es un problema de escala, sí, puedes conocer el comportamiento atómico de las moléculas, pero necesitas modelos "superiores" para conocer las proteinas o la gravitación.
Traducir "light" como ligero o como luz depende del contexto y no conocemos los motivos de las decisiones del algoritmo traductor, podemos ver pesos y podemos desensamblar programas como podemos medir impulsos eléctricos o químicos del cerebro, eso no es saber que ocurre dentro.

Varlak

#0 entiendo lo que dices, pero tu concepto de "caja negra" no es el mismo que el de los demas, ppr lo que parece.... segun tu propia descripcion, a la IA la alimentamos con un programa, unos datos, un marco con el que trabajartiene, y luego la IA hace millones de operaciones que no somos capaces de seguir, y nos arroja un resultado.... eso es exactamente la definicion de caja negra.

D

El artículo es muy bueno, mis dieses.

Por intentar aportar algo más, el mito de la caja negra nace precisamente de que estos modelos "regresionan" un fenómeno, y lo regresionan con muchísimas más variables que grados de libertad tiene el propio sistema que se está modelizando. Por ende el modelo que surge de dicha regresión, aunque predictivo, no es descriptivo del fenómeno, al contrario que los modelos que se manejan habitualmente en física.

Por poner un ejemplo, la ley de gravitación maneja la constante de gravitación universal, que (hasta donde yo se) no varía en ningún caso. Si generasemos un modelo de red neuronal (o una clásica regresión polinomial) para describir el movimiento de los planetas seguramente sería igual de predictivo, pero no describiría el sistema, dejándonos sin visibilidad del verdadero fenómeno subyacente (la gravitación) y las posibles aplicaciones del mismo.

La falta de comprensión de lo anterior es lo que lleva al periodista a hablar de "cajas negras".

ContinuumST

Guau, me ha encantado el artículo.

Una duda, cuando dices... "el mundo es como es porque de ser de otro modo no sería posible que un cerebro como el nuestro pudiese generalizar la realidad." Las leyes de la física, química, etc... no saben cómo es la realidad per se, simplemente -con el cuerpo sólido de las matemáticas- los físicos, químicos, etc., construyen formas de entender la realidad, pero NO es la realidad. (No sé si me explico bien). O eso tenía entendido.

ContinuumST

Pero si es verdad la noticia de las dos i.a. de fb, las que crearon un lenguaje propio para comunicarse. Si es que la noticia es ASÍ y no un cuento, ¿no sería ese lenguaje creado por esas i.a. un poco caja negra?

D

Me hace gracia el termino que usan los guiris: «oráculo», ya que más que aclarar lo que hace es oscurecer los algoritmos y la idea de «inteligencia artificial» (que por otro lado es un mito), y que un observador meticuloso diría que pone en relieve el fundamentalismo científico que campa por las sociedades y sobretodo por los laboratorios de las escuelas de ingenieros

Ni es un oráculo, ni es adivino, ni es una caja negra y por supuesto no es metafísico como para llamarlo así