Hace 9 años | Por --418333-- a agenciasinc.es
Publicado hace 9 años por --418333-- a agenciasinc.es

Investigadores de la empresa Deep Mind, del gigante Google, han creado un algoritmo capaz de aprender a superar juegos clásicos de la videoconsola Atari 2600, como Space Invaders o el comecocos, a partir de una información mínima. Frente a un probador humano profesional, el nuevo agente artificial logró más del 75% de la puntuación en más de la mitad de los juegos.

Comentarios

d

#21 me siento viejo

s

#1 #3 Dónde va este mundo!!! Qué va ser lo próximo? Un ordenador que se excite viendo pr0n? lol

Athreides

#5 Con un ZX Spectrum ya sobraría potencia de procesamiento para simularla...

kukudrulo

#5 #6
Con un muñeco con un ordenador valdría

Athreides

#8 Pues incluso con eso ya saldríamos ganando todos. Hasta Manolo el chofer sería un hombre feliz

D

#5 Sustituirla por un botijo sería más provechoso.

kukudrulo

#9 jajajaja, ahí le has dao lol

T

#4 no jugaba al Candy Crush, sino al Frozen Free Fall, de disnei.

sorrillo

Lo mejor que podrían hacer es no ponerle juegos actuales, sería lo más humano, no hay necesidad alguna de hacerle sufrir.

m

¡JOSHUA!

D

Este agente artificial llamado deep Q-network (DQN), que más bien es un algoritmo matemático, ha sido desarrollado combinando dichos mecanismos biológicos con técnicas de aprendizaje automático por refuerzo, algo novedoso que para muchos podría ser un hito en inteligencia artificial. Las pruebas de esta IA, publicadas este miércoles en la revista Nature:

http://www.nature.com/articles/nature14236.epdf?referrer_access_token=z0uJYmhAq_Z0gCtUmAPqvdRgN0jAjWel9jnR3ZoTv0P5kedCCNjz3FJ2FhQCgXkAe9Cfwkf9AtOtmk5GZtok2FYAn4vM4c1Lfpcgqkheia3jkFnX8mmfrzulRu7-IzPs

Catrocento

Se acerca la singularidad.

SrYonkykong

#13 RAPIDO LLAMAD A LA SINGULARIDAD!!!!

D

Si se pasa el Abu Simbel Profanation para Spectrum me tomaré en serio la noticia.

ElPerroDeLosCinco

Vamos a sobrar todos.

Linceono

Un juego extraño. El único movimiento ganador es no jugar. ¿Qué tal una agradable partida de ajedrez?

D

Relacionada.

http://apptiendaonline.com/noticias/dios-el-hombre-y-la-ia-sobre-la-creatividad/

Una nota que encontré interesante sobre la creatividad y la IA:

oliver7

¿Acaba de empezar y ya es Pro? Ese lleva chetos. lol

D

Saludos Profesor Falken

D

Cuando se pase el Dark Souls sin morir, que lo pongan en twitch.

v

#46 Muy bien, en serio, tienes razón. Pero la ciencia es así, hay avances, se estancan en callejones sin salida, y vuelve a haber avances. Ni muchos menos podemos decir que sea un problema resulto o de aplicación general. Pero hay muchos avances recientes que ya pueden verse (o van a verse en el corto plazo) en la vida cotidiana para el buen observador.

La IA ni es inteligencia ni es artificial. Era y es un truco de magia, y probablemente lo seguirá siendo. Y ya poniéndonos ciencia-ficcionoides: Somos acaso nosotros inteligentes? o En qué punto se pasa de un mero sistema (mas o menos complejo) con entradas y salidas a la auto consciencia?

En el fondo esto no es relevante. Vamos a los avances. Digamos que hay 2 vertientes.

Primero, la IA clásica donde se programan "agentes inteligentes" en base a modelos del mundo hechos por ingenieros, entendido como una especie de "control electrónico avanzado", y que está muy relacionado con la robótica y el control industrial. Es evidente que estos sistemas se han empezado a complejizar, extender y abaratar. Y cada vez forman parte del saber tecnológico mundial formas de control mas avanzadas en ámbitos más y más complejos. Para mi esto no es inteligencia en sí, sino tecnología aplicada. Pero creo que es evidente que la robótica va a jugar un papel cada vez más importante en nuestras vidas, y estamos a años luz de hace 10 o 20 años. No porque se haya inventado "nada nuevo" en este ámbito, sino porque las estándares y avances tecnológicos existentes permiten abordar aplicaciones nunca pensadas.

Segundo, el aprendizaje máquina, en el que se plantea inferir el sistema a partir de los datos, evitando en mayor o menor medida hacer ingeniería sobre algunos aspectos + o - no evidentes del problema. Como área más multidisciplinar que la anterior, tiene varias vertientes. Algunas más estadísticas, y otras más relacionadas con la informática y los sistemas. Las redes de neuronas se llaman así porque se inspiran en modelos neuronales sencillos. Son sistemas bio-inspirados, y modelo biológicos exactos o completos. Es como cuando usamos "algoritmos genéticos" o sistemas de feromonas basados en hormigas, o sistemas basados en anticuerpos desde un punto de vista computacional, como estrategia para abordar problemas.

Pero el nombre poco nos importa. Pues como bien dices, puede hacerse un mapping a otros modelos estadisticos. En cierta medida, entonces, si son equivalentes por qué usarlos? no parece haber ventaja. Bueno, pues porque desde un punto de vista pragmático, si son equivalentes me quedo con el modelo más flexible y sencillo. En el sentido de que con una red de neuronas puedo hacer "todo" lo que hago con otras estrategias. Y lo único que tengo que hacer es ver como y por qué, cada una de las diferentes teorías de aprendizaje estadístico se trasladan a las redes. Y entonces, si yo soy capaz de hacer computadoras o sistemas computacionales in-silico que sean capaces de modelar esta red, yo sería capaz de escalar el procesamiento mucho mejor. Ese era el motivo inicial, y lo sigue siendo. Tenemos un ejemplo de sistema conexionista que funciona muy bien (el cerebro), y es tremendamente flexible para reconocer patrones de forma paralela, y queremos averiguar cómo podríamos crear sistemas inspirados en esa filosofía, transladando todo el saber de la estadística y las matemáticas a un modelo genérico y escalable.


Por qué se dejaron de usar las redes o por qué perdieron fuelle en favor de modelos menos escalables con alto especificidad matemática? Uno de los motivos fundamentales fue que está demostrado que cualquier sistema se puede modelar en 2 capas de neuronas, y que era altamente complicado entrenar con éxito redes más profundas. Esto invalidaba por completo las redes tipo perceptron multicapa frente a otros modelos tipo SVM o RBFN, o cualquier modelo de redes bayesianas o cadenas de Markov.

No obstante, de un tiempo a esta parte se han conseguido avances muy significativos en entrenamiento semi-supervisado de redes profundas (deep learning), que están teniendo muy buenos resultados, sobre todo en aplicaciones relacionadas con el reconocimiento de objetos en imágenes y reconocimiento de voz. El tema está en que si yo analizo lo que hace la red, puedo decir, de acuerdo, se parece a lo que estamos haciendo en el sistema X, pues basicamente el procesamiento es el mismo, o puedo decir que tal conjunto o capa de neuronas, al usar tal o cual estrategia de aprendizaje (reglas sencillas) está simulando tal o cual método estadístico. Pero eh, que lo extrapola la red ella solita en un modelo mucho más escalable que el otro por ser multicapa y aprovechar mucho más procesamientos compartidos entre patrones ... El resultado, a su vez, suele ser más robusto y tolerante a fallos, e incluso, las primeras capas (más generales), ser propensas a ser usadas con exito en aplicaciones relacionadas pero diferentes.

Eso son avances significativos.

D

Estaría bien que se fuera desmitificando esto de la Inteligencia Artificial y que estos artículos se escribieran de forma más didáctica y no como si fuera por arte de magia. Lo difícil de una red neuronal (y cualquier método de aprendizaje automático) es modelar el problema. En este caso ya dice que se hace "partiendo de información sobre los píxeles y el número de acciones posibles en cada juego", lo que significa que la entrada de la red neuronal es la lista de píxeles que forman el fotograma y la salida de la red neuronal es una acción (Arriba, Abajo, A, B, X...). Para mí lo interesante de la noticia no es el "aprende a jugar a videojuegos por sí mismo" que sale en el titular, que por algo es aprendizaje automático, sino que la misma red neuronal te sirva para cuarenta y pico juegos distintos. Eso sí, sácalo de los juegos que ya han probado y similares y no te sirve para nada.

vviccio

Pronto ya no serán necesarios ni agentes de bolsa, ni de seguros, ni teleoperadores... Podrán ser sustituidos por un ordenador.

k

#16 En el sat de robafobe ya los tienen desde hace años...

Acido

#16 Supongo que tu comentario es irónico ¿no?
En bolsa la mayoría de operaciones las hacen máquinas... (no se si son el 75% o el 80% pero desde luego más del 50%).
Y también muchos teleoperadores son ya máquinas: y no sólo los que reciben llamadas, también algunos hacen llamadas.

M

Bueno, en realidad el titular de la noticia y lo que explica no es nada nuevo y que se haya hecho ahora. De hecho en la carrera de informática, por lo menos en la especialidad de IA, las prácticas en las que utilizabas redes de neuronas y otras mil técnicas de aprendizaje automático (no solo el aprendizaje por refuerzo) eran el pan nuestro de cada día. Sobre todo con el comecocos. Donde sí puede estar la noticia es en que se utiliza la misma red de neuronas para aprender diferentes videojuegos y teniendo siempre las mismas entradas además de la arquitectura que han utilizado en la red y la configuración de la misma. A lo mejor me he liado un poco solo para decir que hacer un jugador de videojuegos que aprenda por sí mismo con redes de neuronas no es nada nuevo y sí el hecho de cómo han hecho la misma. Lo siento, deformación profesional, supongo

v

#31 El artículo contempla varios avances. Como bien dices es "cualquier tipo de juego", esto es: artificial general intelligence, que es un problema en bragas. Por otra parte, el contexto es redes neuronales en refuerzo sí, pero con 2 avances. El primero es usar una red convolucional profunda (deep learning, CNN) para no tener que calcular características ad-hoc, sino que las aprende la red. El segundo es que no usa simplemente refuerzo en modo online, sino que reentrena de de su experiencia, lo que aporta estabilidad al aprendizaje. A mayores, desde un punto de vista global, estamos hablando de un aprendizaje completamente semi-supervisado, donde el fitness viene simplemente dado por una simulación en el entorno. Esto es, que evita el otro proceso costoso del aprendizaje (el primero era la ingeniería de características) que es la recopilación y etiquetado de datos.

Es decir, que aunque los setups de ANN están perfectamente definidos, y son aprendidos en cualquier ingeniería de computación e informática, los problemas siguen estando en entrenar redes altamente complejas. Piensa que hasta no hace mucho, las redes neuronales estaban siendo abandonadas por otro tipo de sistemas de aprendizaje con menor capacidad, precisamente por la imposibilidad de entrenarlas. Durante los últimos años, sin embargo, se están haciendo avances muy significativos, precisamente para solventar los problemas clásicos de las redes, lo que está suponiendo un resurgir de las redes de gran relevancia, que ya está revolucionando el mundo de la computación e IA.

Siento la deformación profesional.

D

#35 Vaya por delante que hace muchos años que no estudio IA ni estoy relacionado actualmente con ese campo. Es decir, esto es sólo una opinión basada en mi experiencia pasada. Te respondo a ti porque pareces estar muy al día con esta disciplina y me encantaría poder cambiar el concepto que tengo sobre ella.

Al grano. Según lo que recuerdo la IA es una ciencia varada, donde no se dan avances significativos desde hace décadas y que está tan lejos de lograr una auténtica "inteligencia artificial" como lo estaba en los tiempos de los neandertales. Las "redes neuronales" son una construcción equivalente a un modelo estadístico clásico. De hecho, las "neuronas" en estas redes están tan alejadas del funcionamiento de las neuronas reales (en gran parte porque este es aún semidesconocido), que llamarlas redes neuronales es poco menos que un fraude. Los progresos en IA que se publicitan de vez en cuando parecen más bien producto del aumento cuantitativo de la capacidad de procesamiento en los sistemas modernos, más que de un avance cualitativo de esta disciplina. Nunca vi un solo concepto en IA que no fuera un mero disfraz para ocultar el modelo estadístico predictivo subyacente. ¿Esto sigue siendo así? ¿De verdad estamos ahora siquiera un ápice más cerca de lograr una inteligencia artificial que hace 10, 20 ó 30 años?

soundnessia

Skynet

#40 40 comentarios antes de que alguien lo dijera.
¿Qué nos está pasando? ¿Menéame, no te reconozco?

yemeth

Es curioso que destacan la noticia como si fuera una cosa fantástica, pero realmente se lleva toda la vida usando técnicas de IA para que una máquina juegue a cosas, y de hecho mucho más complicadas que las que se mencionan en el artículo.

Por ejemplo, recuerdo un profesor que nos contaba cómo una técnica en los videojuegos de coches para simular a tus contrincantes, es entrenarlos mediante redes de neuronas artificiales a conducir bien (pero he ahí el truco, muchos no perfectamente bien, para que no te ganen siempre).

La información que da el artículo es muy equívoca, porque afirma que "partiendo de información sobre los píxeles y el número de acciones posibles en cada juego" obtiene la mejor puntuación. Falta ahí lo esencial: información sobre qué acciones traen los resultados más positivos, que es como se entrena a la red de neuronas para que entrene. Se da a entender que la red de neuronas "aprende sola" cuando me juego cualquier cosa a que se le está indicando como mínimo al final de cada partida (y probablemente tras cada decisión) la puntuación obtenida. Esa es la manera en la que enseñas a las redes de neuronas artificiales en un caso como este, de modo que los aciertos se propagan por la red reforzando las conductas que llevaron a una puntuación positiva, y al revés.

Jarez

Que se pase el ET si tiene huevos

D

Frente a un probador humano profesional, el nuevo agente artificial logró más del 75% de la puntuación en más de la mitad de los juegos.

Eh, que yo quiero ser ese "probador humano profesional"...

D

El concepto "por sí mismo" es bastante problemático ya con seres vivos como para usarlo con una máquina.

D

¿Y cuál es la noticia?

DidE

Que lo junten con loquendo y twitch y a ganar plata

earthboy

Cuando quiera dominar el mundo que le pongan el tres en raya. Ya se ha hecho.

u

Soldado artificial 1.0?

arn01d

"Después de 600 episodios DQN encuentra y explota la estrategia óptima en este juego, que es hacer un túnel..."

http://bcove.me/xa9lsed9

jucargarma

#30 Ya claro. Baja la bolita, rompe un ladrillo y sube la bolita atravesando los otros ladrillos sin romperlos... amen de que cada más experiencia, la velocidad sube por arte de magia...

Zorlek

Ha dicho, en otras declaraciones, que se pondrá a jugar al "Call of Duty" y al "Minecraft" y se abrirá un canal en Youtube

D

Suerte con el ghost and goblins 8 bit.

Acido

¿¿No os parece poco un 75% ??
A mi me pareció poco...
Si en ajedrez ya ganan las máquinas por goleada a los grandes maestros... ¿cómo es posible que en un juego más sencillo como PacMac o Space Invaders la máquina no gane por goleada? Supongo que ineptitud del programador y por usar Redes Neuronales Artificiales en lugar de otros métodos.

v

#44 Porque en los sistemas IA que juegan al ajedrez, hay que programar las reglas y heurísticas específicas del juego. El deep blue puede ganar al ajedrez, pero no le pongas a jugar al risk. O si quisieras hacer que gane al risk tendrías que hacer otro sistema, aunque similar, con demasiadas especificidades del juego y estrategias ingeniadas por el diseñador (no por la máquina).

El avance del artículo no está en que el sistema gane a juegos o no. Sino en que gana a algún juego sin decirle al sistema ni lo que está viendo por pantalla, ni lo que hacen los controles, ni de que va el juego. Por otra parte, los resultados solo apuntan a que un sistema "tan sencillo" solo es capaz de ganar a juegos simples con baja componente estratégica a largo plazo (i.e. todo lo contrario al ajedrez). Pero sí es capaz de extrapolar estrategias sencillas a corto plazo. El avance esta en no decirle nada al sistema: es general.

D

Ya falta menos para que empiecen a pensar por nosotros.

mjf87

A quien le interese el tema en marzo empieza un curso gratuito de General Game Playing en Coursera https://www.coursera.org/course/ggp

aluchense

Hemos llegado a ese triste momento de la historia humana, en el que los gamers hemos dejado de ser necesarios para ser sustituidos por máquinas....