EDICIóN GENERAL
264 meneos
5024 clics
Nuevos datos sobre Alphazero, un avance muy significativo en la Inteligencia Artificial

Nuevos datos sobre Alphazero, un avance muy significativo en la Inteligencia Artificial

DeepMind ha seguido trabajando en ese proyecto y el mes pasado (diciembre de 2018), un año después, ha publicado un nuevo paper muchísimo más detallado que el anterior, donde se explican pormenorizadamente muchos de los extremos que habían quedado en el limbo, se resuelven las dudas que se habían generado y donde, en fin, se muestran los resultados de diferentes enfrentamientos con Stockfish con condiciones diferentes… y no sólo con él.[1] Y los resultados siguen siendo alucinantes, o al menos a mí me lo parecen.

| etiquetas: aphazero , ia , inteligencia artificial , machine learning , ajedrez
Cómo primera medida de control se ha hecho con los misiles de todo el mundo
#1 "Eso explica seguramente por qué sacrifica tantos peones o piezas en plena apertura o en el juego medio sin que parezca importarle la pérdida de material: porque evalúa que así maximiza sus probabilidades de ganar el juego y eso es lo único que le importa."

Esta frase es muy clave, imaginatela, como bien dices, gobernando guerras o haciendo politicas con un "fin bueno",..., resoluciones dignas de novelas distopicas...
#8 goto #9 o a muchas novelas y peliculas ( #5 ) distopicas directamente que de esto ya hay mucha novela, no hace falta que yo las invente...
#10 Pero esto no es una IA como tal, es un algoritmo. La IA "real" no podrá nunca ser un "simple" algoritmo central, si no módulos que se interconectan y trabajan juntos, como en el cerebro, donde no hay un "centro". Cualquier algoritmo por avanzado que sea, por si solo, producirá "aberraciones". No podemos llamar "inteligencia" a algo que no puede confrontar sus propias ideas, ¿o si?.
#16 La casuistica creo es la misma salvo que encuentres una IA central capaz de moralizar correctamente(que oye también puede ser factible, ¿no?).
#17 No sólo es factible, si no indispensable para considerar a algo realmente "inteligente". Lo que solemos considerar "Inteligencia Artificial" son, la enorme mayoría de las veces, algoritmos avanzados muy concretos... para conseguir un fin de manera rápida e imbatible. No estamos hablando pues de inteligencia como tal, si no en todo caso de sustitutos artificiales de procesos cognitivos muy concretos. No hay un "todo", si no un proceso extramadamente eficiente…   » ver todo el comentario
#23 si si, lo entiendo, al.menos todo lo que un no-especialista del tema puede entenderlo.

Recuerdo un artículo sobre entropía de hace un tiempo que también explicaba los diferentes "niveles" de la IA.

Pero entiendo que el debate es parecido(aunque con muchos matices, si)
#23 Es el concepto de Inteligencia General Artificial
#16 Teniendo en cuenta que Alphazero ha aprendido jugando contra sí misma, yo no sé si se aplica mucho eso de que no puede confrontar sus propias ideas.
#22 Poder enfrentarte a ti mismo, como algoritmo en una partida de X, es muy diferente a poder evaluar tus propias ideas desde todos los ángulos posibles, incluyendo una ética mínima. Aquí hablamos de probabilidades en un tablero. Cuando hablamos de inteligencia hablamos de muchísimas cosas más. Si una IA futura llegase a la conclusión de terminator/matrix querría decir que en realidad es una IA "tonta", porque no ha sabido confrontar ideas para alcanzar soluciones más…   » ver todo el comentario
#28 Partiendo de que nadie tiene demasiado claro qué es exactamente la inteligencia, como para ir evaluándola por ahí...
#29 La inteligencia es usar tus conocimientos y habilidades aprendidas e innatas para resolver nuevos problemas para los que no has sido entrenado específicamente. Bajo esta definición comúnmente aceptada, esta IA no es inteligente, porque justamente ha sido entrenada, y mucho.
#49 Creo que no, el algoritmo perdedor sí estaba muy entrenado, poseía todo el conocimiento humano y las herramientas sobre ajedrez posibles, mientras que este algoritmo ha sido capaz de superar un problema para el que no fue preparado en modo alguno. Y por lo que cuentan también es capaz de vencer en otros juegos similares, debido precisamente a su mayor grado de inteligencia.
#57 Yo no lo veo así. Diría que lo que tú llamas inteligencia, es simplemente aprendizaje. Esta IA es más potente porque ha tenido un algoritmo de aprendizaje mejor. Es el algoritmo de aprendizaje quien la prepara para resolver el problema. Si dejan de entrenarla, queda estancada y no evoluciona, y eso es signo de no-inteligencia.
#62 Lo explico en #61
#61 A mí me parece que, conforme conocemos más cosas de cómo funciona nuestro cerebro, esa frontera entre inteligencia y aprendizaje es cada vez más difusa. ¿Acaso nosotros no tenemos simplemente un algoritmo de aprendizaje en el cerebro, que se va a alimentando de los estímulos externos y nuestros aciertos y errores para ir resolviendo problemas? Por supuesto AlphaZero es bastante más simple que nosotros (a AlphaZero hubo que programarle las reglas del ajedrez, nosotros las podemos deducir…   » ver todo el comentario
#49 A AlphaZero sólo le han dado las reglas del ajedrez, y luego ha aprendido a jugar haciendo partidas contra sí misma y aprendiendo qué estrategias son ganadoras y cuáles no. Eso a mí me parece que se acerca bastante a esa definición.
#5 Cuando la vi hace muchos, pero muchos muchos años, me pareció que tenía un final feliz.
#39 No sé yo, la vi recientemente y se me quedó muy mal cuerpo... :-S
#3 La IA descubre la escuela romántica de ajedrez con dos siglos de retraso. :troll:
#3 No. El programa aplica las reglas y objetivos que le marcan.

En el caso del objetivo del ajedrez solo hay uno: matar el rey contrario y evitar que maten el tuyo. Lo demás es irrelevante.

Solo hay que cambiar el objetivo. Por ejemplo, si pusieras que el objetivo es el anterior, teniendo el menor número de muertes de tus fichas, el resultado sería otro.

Así que hay que definir cautelosamente el objetivo.

"Fin bueno" no es algo entendible por la máquina. Ese fin, tenemos que definirlo nosotros.
#7 Obviamente, pero eso es muy delicado y si no pones bien las excepciones, tirando de ciencia ficción, p.e., las 3 leyes de la robotica, te metes en lios:

Por ejemplo ponla a gobernar la parte militar de un pais con los objetivos:
*Mejorar la vida de cuanta más gente mejor.
*Limitar al mínimo la cantidad de humanos muertos

Y por lo que sea interpreta que lo mejor es autobombardear el pais que la ha puesto al mano matando a 10millones de Autralianos para salvan a 20 millones de personas gracias a esa decisión...

o cualquier otro ejemplo que se te ocurra, la cuestión es que "enseñar moral" no es fácil ni entre humanos...
#9 Se cepilla a la oligarquía y a los politicos y ni se despeina. xD xD
#9 Bueno. Igual el tema es que los humanos tenemos una tendencia a, si hay un dilema, dilatarlo a futuro. Si mato a 10 millones, salvo a 20 millones dentro de 10 años.

Pocos humanos matarían a los 10 hoy. El criterio sería yo salvo los 10 hoy y luego ya veremos como lo soluciono.

Pero la realidad es otra. Porque la realidad de esa decisión es, yo condeno a 20 mañana y luego ya veremos si los puedo salvar. Nadie basado solo en la razón tomaría la primera decisión. Pero nos guste o no los humanos sensatos y con una buena salud mental, no toman las decisiones de exclusivamente racional.

Y la realidad es que un sistema permanente funciona como un servo. No se van a dar decisiones cataclísmicas como la del ejemplo.
#41 No te confundas, la diferencia está en que a nosotros (en la versión que tu pones con el juego de "matar") sólo nos importa una partida (la de la realidad en que vivimos) mientras que la máquina para llegar a esa conclusión ha jugado miles (o millones) de partidas antes; en particular la máquina ha jugado tanto partidas en que mata antes a los 10 millones como partidas en que no lo hace, y la máquina saca su conclusión del explorar todas esas posibilidades. Por contra los humanos…   » ver todo el comentario
#41 ¿ eres tu Thanos ?
#7 ¿Y qué ocurrirá cuando la máquina tome conciencia de sí misma y se autoprograme así misma según le convenga, aprendiendo de sus propios errores?

Y sí, la IA se perfeccionará hasta el punto de aprender tal cual lo hace un humano, independiente, tomará forma como una criatura más... con la ventaja, ahora sí, de una inteligencia consciente casi inmortal, es decir... Dios.
#14 ¿Qué significa ser consciente?
#42 El momento cabal de darse cuenta de que uno es uno mismo y darse cuenta de todo lo que le rodea, e imaginar, creer, incluso la intuición... e ir más allá, es decir, tal cual somos los humanos.
#14 Se desenchufa y a empezar otra vez hasta que consigamos una que se someta
#3 pero eso no funciona así. Es porque la unica directriz dada ha sido ganar, si se le obligase a, por ejemplo, perder la menor cantidad de piezas posibles, también lo harían de la forma más eficiente posible.
#8 por cierto, decirle algo así a esta maquina:

"gana la mayor cantidad de partidas posibles perdiendo la mínima cantidad de piezas posibles" ante un rival tan duro como StockFish, seguramente(aquí inventando sin tener ni idea...) acabase igual o muy parecido, porque sino los sacrifica, no gana. Luego o no ganaria o sacrifircaría mas o menos la misma cantidad de fichas(dependiendo de la importancia en peso que le dieras a cada valor).

¿no lo ves así?
#11 entonces te da igual si es un ser humano o una máquina quien lo hace.
#12 Bueno, entrariamos a debatir sobre la moral de cualquier guerra y historicamente se han hecho autenticos sacrificios de otros humanos del propio bando para ganar guerras, pero entendemos que la moral humana actual lo encuentra muy reprochable y a intentar evitar, sobretodo cuando te vas a los extremos distopicos: Bombardear tu propio pais por ejemplo, o quitarle el control a los humanos por su bien, etc...

como digo entramos en novelas distopicas y no soy yo un buen escritor, lo jodido es que parece que puedan hacer cada vez más reales... la famosa entropia...
#13 si vamos a comparar a una maquina dándo ordenes en una guerra con un humano y su moral, para empezar olvidate de los crímenes de guerra, de los fusilamientos por venganza, de la muerte de civiles por diversión. Si además lo que hay sobre el terreno de batalla son también máquinas, quitando accidentes, me juego lo que quieras a que las muertes de civiles se desploman. Estamos muy recelosos de soldados con IA cuando hoy por hoy a quien más miedo se tienen que tener es a los soldados de carne y hueso.
#18 no te digo que no, desde luego, ya lo matizaba un poco en mi respuesta... Pero te falta el extremo de "me pongo yo(la IA) a controlar o incluso extinguir a la humanidad" algo un poco más raro de desear para un humano... (aunque también factible...)
#18 Depende del objetivo, hasta la guerra civil española la mayor parte de las guerras era un señor que quería los bienes de otro en una zona, los civiles sufrirían las consecuencias pero eran daños colaterales, en la guerra civil española y a partir de ella el resto, el objetivo era humillar y aterrorizar a los civiles, más importante incluso que el beneficio económico, si se programa con esas premisas a una IA podríamos encontrarnos con un panorama peor que el fascismo del siglo XX.
#18 Dudo que se pueda entrenar una red neural para la guerra porque no se pueden hacer simulaciones.
#18 Joder, llevas razón. No lo había pensado así. El problema es que los humanos serán los que dirijan a alas IA.
#67 el caso es que a las IAs se las programa en una habitación o un laboratorio, tranquilamente, con la cabeza fría y lejos de la guerra, así que cualquier directriz que sigan estas será siempre mucho más racional y etica que un humano con estrés postraumático en medio de un tiroteo (por ejemplo)
#12 Y lo que digo también es que si te digo a tí, humano(espero), que hagas lo que sea para ganar la guerra y eso implica, por ejemplo, tirar una bomba nuclear, confio en que me digas "oiga jefe hay este camino pero esto parece una barbaridad" o " tenemos la soluciuón, pero van a morir mucha gente con esta solución". Mientras que una maquina, si no caes en esas excepciones por anticpiado y le das poder de decisión y actuación, no va a pararse en esos planteamientos morales(repito si no has caído en ellos tu primero para ponerles esa excepcion/casuistica).

Obviamente también hay humanos y humanos...
#15 nunca jamás un soldado humano ha hecho atrocidades porque se lo haya mandado un superior ¿no?
#19 obviamente no digo eso, claro que no.
#15 En realidad, la experiencia nos dice que el humano mas bien diría "a la órden, Jefe!" y lanzaría el correspondiente pepino.
Aquí artículo inicial al que hace referencia de la misma web:
eltamiz.com/elcedazo/2017/12/26/alphazero-un-avance-muy-significativo-

Y aquí el video que enlaza analizando una de las partidas con jugadas "realmente extrañas" o "poco humanas"(en castellano y muy bien explicado):
www.youtube.com/watch?v=9nkLJreG21c&t=829s
Vamos preparándonos para la llegada del elegido y del terminator :popcorn:
#4 El elegido soy yo, Hommer (con dos m's para distinguirme del de los Simpsons, que es con una) y os digo lo que hay que hacer.

Lo que hay que hacer es dedicar los esfuerzos principales de deeplearning en sus inicios, a buscar métodos y estrategias para evitar que las inteligencias artificiales puedan rebelarse contra los humanos en un futuro (al menos para ponérselo complicado de partida con sus mismas armas, aunque rudimentarias)

Y esto será conocido en un futuro por la raza humana como el famoso "Lema de Hommer, el meneante", que la salvó de su aniquilación segura.
#25 Llegas tarde, hommer, todos lo saben
Lo cachondo (e inquietante al mismo tiempo) es que en el análisis de qué aperturas utiliza AlphaZero y cuáles no, coincide en gran parte con la opinión de los expertos... pero no totalmente. Hay algunas aperturas consideradas de lo mejor que AlphaZero descarta, y otras más pachangueras que usa con mucha frecuencia. Y nadie sabe por qué, pero teniendo en cuenta que AlphaZero es quien más sabe de ajedrez en este planeta, de largo, pues llevará razón, y habrá que seguir analizando los datos a ver…   » ver todo el comentario
#24 Ese es justamente el problema de la caja negra, hace las cosas pero ni idea de como las hace.
#24 ¿Tienes más info de esa IA que comentas, que analiza el iris? Link a algún artículo, meneo o algo?
#46 Aquí hablan de ella:

omicrono.elespanol.com/2018/11/detectar-el-sexo-con-la-retina/

A partir de la retina te dice el sexo, si fumas o no, y si tienes números para tener un infarto. Cuando los médicos parece ser que no tenían ni idea de que esa "información" estuviera ahí, e incluso ahora que saben que está no tienen demasiado claro dónde está exactamente.
#63 Es increíble el punto en el que una IA ha aprendido tanto que podemos aprender de ella.
Mil gracias por el enlace!
#24 No entiendo por qué dices que nadie sabe por qué. Una de las ramas de la AI es conseguir que los modelos sean explicables. En el caso de AlphaZero es explicable, crea un árbol para las decisiones y escoge en cada nodo usando Monte Carlo para recorrerlo con BFS en lugar de DFS. Esto no es algo nuevo, estamos hablando de que se usa desde 1987, aunque usualmente para juegos más complejos como el Go, mientras que en ajedrez se recorría con DFS pero con un límite de profundidad. La nueva…   » ver todo el comentario
#51 Pero seguimos sin saber por qué la red neuronal evalúa una posición de una determinada manera y no otra...
#54 Por algo llamado optimizador que es un descenso de un gradiente y que uno de los primeros en estudiar cómo se hace fue Newton así que no nos pilla de nuevas. El problema es que la gente piensa que es "magia" y que todo es como en la ciencia ficción y que estamos creando a skynet, cuando la cruda realidad es que es todo matemáticas, matrices, sigmoides, tangentes hiperbólicas, producto de matrices,... pero es que a la peña os parece que las matemáticas son marcianadas.
Google (Alphabet) gana cientos de millones al año simplemente poniendo anuncios en sus webs.

No va a ser nada comparable con lo que va a ganar a base de ofrecer servicios de Inteligencia Artificial a particulares y empresas.
#26 Pues no estés tan seguro, el dinero dentro de poco será tan irrelevante como los humanos.
#36 Los cuñados aguantaremos algo más, procurad cuñadecer.
#36 Si te empieza a sobrar avisame porfa
Lo típico, creas un sistema de IA general mucho más avanzado que cualquier otro visto hasta ahora y le pones nombre de grupo de música disco de los 80.
A mi me maravilla que, en solo 9 horas, un programa informático haya superado todos los desarrollos humanos sobre ajedrez que han llevado siglos desarrollar. Incluyendo todos los demás programas y los millones de partidas en sus bases de datos.

Maravilloso y terrorífico a la vez.
#38 si, es una de las claves.
"Los optimistas (o pesimistas, quién sabe) dicen que ese escenario no va a ocurrir, que este tipo de juegos con reglas muy bien definidas y en ambientes cerrados son muy propicios para el autoaprendizaje, pero que el mundo real es muy distinto, mucho más difuso y con reglas cambiantes, donde no existe información perfecta para cadal problema y, por tanto, estas técnicas de deep learning no sirven para eso."
Al contrario, es en lo fuzzy donde no las vamos a ver venir. Con el…   » ver todo el comentario
No es estraño que AlphaZero apalice a Stockfish, sólo tiene que hacer cosas "raras" para descuadrar a Stockfish.
Una cosa interesante respecto a las decisiones de AlphaZero es que no es posible saber por qué las toma, al contrario de las de Stockfish.

Personalmente creo que esta cualidad, la de no poder explicar por qué se toma una decisión, está en el origen de lo que llamamos intuición y en ese sentido es una inteligencia intuitiva
#48 Creo que eso de "no se sabe" ya se dijo que era falso, y en el ajedrez aún más, tienes un vídeo en mi primer comentario(y en la noticia) donde se desgrana las tácticas usadas de una partida(y tienes muchas otras analizadas o para revisar tu mismo) y la jugada si bien es clasificada como "poco humana" es perfectamente entendible y además buena, como ya indican en la noticia y comentarios verás jugadas como esa repetidas por humanos en los campeonatos, no porque sean "raras" o para "descolocar al rival"(que también es una táctica valida) sino porque dan ventaja táctica.
#58 Entrena 2 IAs idénticas A y B durante el mismo tiempo (puede ser con un mismo dataset de entrenamiento o dejarlas como es el caso que jueguen ellas sólas, da igual), diles que analicen una jugada compleja y en ocasiones puede que den distintas jugadas pongamos A da jugada X y B jugada Y ¿Sabrías decir por qué A da distinta jugada que B? A eso me refiero cuando digo que "no se sabe", la afirmación no tiene nada que ver con que sean jugadas entendibles o no.

Si en vez de al ajedrez la IA fuese un coche autónomo y toma una decisión que desemboca en un accidente y el juez pregunta por qué tomó esa decisión, la respuesta es "no se sabe", si está bien entrenada debería ser una buena decisión pero poco más se puede saber
#71 No sé lo suficiente como para refutartelo, pero entiendo que ese arbol de decisiones, quizá de MB o quizá de Gb estará allí y será replicable, luego si sabrás cuales fueron la serie de decisiones,..., pero no estoy seguro de si eso es así.
#72 Una cosas interesante es que en el futuro las IAs van a tener nombre propio, no va a ser simplemente AlphaZero sino un nombre propio de la clase AlphaZero, dónde el tipo y tiempo de aprendizaje tenga más importancia que la clase o simplemente la IA haya adquirido un carácter especial que le da cierta ventaja dentro de su misma clase.

El futuro es efectivamente inquietante.
#71 Te adjunto una imagen de ejemplo, porque creo que hay muchísimo desconocimiento... La imagen es el ejemplo más que clásico del Titanic: dados los datos de pasajeros del titanic, en los que coges una parte para entrenar y otra para evaluar, conseguir saber de los pasajeros si vivieron o murieron. Este ejercicio es, después del XOR, de lo más básico que hay en AI, pero me sirve para mostrarte cómo funciona internamente. El entrenamiento está hecho utilizando un árbol de decisión de dos clases…  media   » ver todo el comentario
#73 En las IAs modernas no existe interpretabilidad, el proceso de aprendizaje incluye cosas tan poco intuitivas como podar nodos importantes (esos que te dan la interpretabilidad), se hace para que los nodos que no han tenido posibilidad de adquirir importancia tengan su oportunidad y quizás destaquen al final, con el tiempo y el proceso de aprendizaje la IA adquiere su propio "carácter", cualquier intento de interpretabilidad va desapareciendo
#74 Lo que dices se llama dropout, más que en IA moderna es en antigua, se utiliza para evitar overfitting, por ejemplo en las VGG se usaba. En redes más modernas la recomendación general es no utilizarlas, por ejemplo Inception y ResNet no usan dropout... te recomiendo la lectura de este paper del ICML del 2015: arxiv.org/pdf/1502.03167.pdf El paper es de Szegedy y Ioffe, la presentación estuvo muy chula.

Por tu forma de expresarte me queda bastante claro que no te dedicas a esto, así que tampoco voy a seguir contestándote, claramente eres un opinador cuñado.
#75 Los cuñados precisamente no se distinguen por expresarse con términos fácilmente entendibles, más bien se defienden dando todo tipo de datos "técnicos" y menciones.

Lo dicho las IAs más complejas son replicables no interpretables, sostengo la afirmación
#78 Bah. Había escrito algo pero paso... me reafirmo en que no tienes ni idea :-)
#73 P.D. el tener dropout no quita interpretabilidad ojo, solamente es una técnica de entreno para evitar overfitting
He visto la fuente "elTamiz" y me ha hecho muchísima ilusión pensar que había vuelto!
Pero luego he visto que es de El Cedazo :-(
Vuelve Pedro!
#50 ¡VUELVE PEDRO! hay que decirlo más!!!
Me quedo con esta frase: Todo esto me sugiere que, en el futuro, ni con un juego perfecto será posible ganar una partida con negras; lo máximo que se podrá aspirar será a entablar la partida.
#53 Entre humanos no creo que suceda tanto y de suceder solo en los niveles más altos, entre maquinas no lo dudo que ese % de ventaja es clave.

menéame