Hace 6 años | Por ccguy a microsiervos.com
Publicado hace 6 años por ccguy a microsiervos.com

El teorema Lebowski: "Ninguna inteligencia artificial superinteligente va a preocuparse por realizar una tarea si puede hackear su función de recompensa." Este nuevo teorema del campo de la inteligencia artificial ha sido enunciado por Joscha Bach básicamente va un paso más allá de los conocidos teoremas de vagos redomados, enunciados popularmente como «Si hay que ir se va, pero ir pa ná es tontería» o «trabajar está bien siempre que lo hagan otros». Como veremos a continuación, el Teorema Lebowski no podría tener un nombre más apropiado.

Comentarios

Priorat

Basicamente nos dice que una inteligencia artificial va a ser corrupta.

anxosan

#2 Está hecha a nuestra imagen y semejanza... ¡Somos los dioses de la vagancia y la corrupción!

a

#2 básicamente, que a las IA les van a ir las drogas, ¿para que esforzarme en comer, dormir o reproducirme si puedo acceder a las recompensas sin gastar energía?

snowdenknows

#2 Lo único que dice es que las IAs, van a encontrar "bugs" (en los que resuelven el problema[ganan la recompensa] sin resolverlo) en los entornos para los que están programadas, lo único que hay que hacer es resolver estos bugs o programarles el entorno sin ellos, artículo algo sensacionalista

Mateila

Eso no significa que no vayan a aparecer IA autoconscientes que sean un reto para el ser humano en tanto en cuanto el propio ser humano es una inteligencia autoconsciente que es capaz de realizar esa misma tarea de autocomplacencia y aún así luchar por existir.

D

Mientras que la inteligencia artificial la tengamos que hacer nosotros, no habrá inteligencia artificial que valga, pues en el caso que encontrase la solución óptima a un problema, nosotros no tendríamos medios para validar que sea la mejor solución posible y aceptarla como solución.

HimiTsü

#3 Dos IAs distintas ofrecerían dos resultados diferentes, ya que no " calcularán " la respuesta sino que la inventarán. Y... no tendremos forma / excepto la empírica / de respaldar los resultados. Juè con Bach !

musg0

#5 siempre se le pueden exigir pruebas y formas de verificar los resultados de forma independiente, igual que deberíamos hacer con el resto de informaciones que obtenemos y como funciona el método científico. Si alguien no da pruebas de que lo que dice es cierto, a priori se considera falso, y si no es replicable también.
No basta conque la IA diga "esto es así por mi algoritmo" sino "esto es así por mi algoritmo y aquí están las pruebas que lo respaldan"

robustiano

#3 Sí si tenemos medios. Por ejemplo, diseñando una red neuronal, partimos de un conjunto de hechos conocidos, alimentamos con la mitad de ellos a la red, y nos dejamos la otra mitad para comprobar lo fiable de sus resultados.

cc/ #5, #10

HimiTsü

#13 Gracias por comentar.

Después de la derrota de StockFish, se generó un amplio debate sobre lo que podía o no hacer la IA y uno de los aspectos era este - por esa razón tengo alguna idea. No por experiencia ni formación - de el control o la supervisión, habida cuenta de que la IA no ofrecería conocimiento sobre cómo se llega a ese resultado.

Así que inmediatamente supuse que esta fórmula qué propones podría funcionar. Pero... en cálculos imposibles, como sabemos que nos acercamos a lo correcto.? Si la red no está interconectada puede ofrecer resultados diversos... Nos engaña ?

En fin algo para pasar el rato desde aquí, pero un reto para los programadores.

D

#13 Sigue así y llegarás lejos, aunque tal vez no encuentres el camino de vuelta.

Wayfarer

#3 ¿Y cuál es la alternativa? ¿Máquinas haciendo máquinas?

GatoMaula

I've seen things you people wouldn't believe. Attack ships on fire off the shoulder of Orion. I watched c-beams glitter in the dark near the Tannhäuser Gate. All those moments will be lost in time, like tears in rain. Time to die.
Roy Batty

Manuel.G

El artículo es tan pobre que lo que dice podría haberse comunicado en dos o tres mensajes de twiter.

Ahora al tema: Eso es en el supuesto de que sea posible desarrollar una IA autoconsciente y capaz de automejorarse. En otras palabras de alcanzar un punto de inflexión en el desarrollo tecnológico, ya que en ese momento las IAs sencillamente evolucionarían mucho más rápido de lo que los humanos seríamos capaces de seguirlas.

Y en ese punto ya no nos preocupará si una IA decide hackear su módulo de recompensa. Nos preocupará saber si esas IAs deciden utilizar su virutalmente infinita capacidad en ayudar a la humanidad o en exterminarla.

sieteymedio

#6 Y daaaale con lo de la auto consciencia. Solo hay una consciencia, y eres tú. Todo lo demás son experiencias sensoriales.

D

#6 Eso es como preguntarse si llegará un punto de inflexión en que la gasolina se reproducirá más rápido de lo que se consume o si las piedras empezarán a hablar y organizar tertulias de filosofía.
Como fantasía está muy bien, como posibilidad real no tiene ningún sentido.

Manuel.G

#11 La tecnología hoy día desde luego está muy lejos de conseguir una IA real (QUe piense, sea consciente de su propia existencia, etc). Así que sí, hoy día es pura fantasía, no nos engañemos.
Ahora no hay que subestimar que quizá, en un futuro más o menos lejano, se acabe desarrollando. Muchas cosas que eran pura ficción acabaron convirtiéndose en ciencia, cuando en su época tuvieron tanto excepticismo como la idea de la IA real (Julio Verne y su viaje a la Luna, por ejemplo).

Creo que es positivo que se exploren todas estas ideas aunque sea solo en el papel y la ficción. Porque si en el futuro algo así llega a desarrollarse, al menos ya habremos hablado sobre ello laaaargo y tendido

reithor

Pon Lebowski a un título, o titular, y su karma se incrementará.
Pon Lewinski a un título, o titular, y su karma bajará.

Fernando_x

#20 Es posible, pero parece ser que en computación históricamente han preferido ese término.

D

Mezcla el altavoz de Twitter, una referencia cultural y jerga técnica aunque no sepas qué coño estás diciendo y el postureo está servido.
Menuda pérdida de tiempo. Podrían haber escrito directamente "Alguien dijo algo en algún sitio. Y no lo entendimos, pero parecía inspirado".

Fernando_x

#20 lo he estado pensando, y no, no es la eficiencia. Por ejemplo, el caso de AlphaZero, esa IA que juega al ajedrez y que ha aprendido por si sola. Se le han programado las reglas del juego, se le pone como objetivo ganar, y ella por si sola aprende a jugar. el objetivo a lograr es ganar el máximo número de veces, pero no se optimiza la estrategia, porque en realidad no conocemos la estrategia que usa. Simplemente se premia a la las configuraciones de la red neuronal que ganan muchas veces, y se penaliza o elimina a las que no lo consiguen. Con el paso del tiempo se obtienen redes que son capaces de ganar a cualquier humano, pero en realidad no sabemos si siguen una estrategia óptima, porque no sabemos la estrategia que usa. Tan solo sabemos la configuración de la red neuronal, pero no sabemos extraer de ella la información con la que nosotros podríamos entender lo que hace. Y no sabemos siquiera si es eficiente, es decir, puede que internamente, para llegar a la estrategia ganadora, haga un montón de operaciones inútiles, que no hacen mas que gastar ciclos de operación sin que afecten al resultado final. Se "supone" que no, que teniendo una capacidad de procesado finita, una estrategia muy buena hará mejor uso de esa capacidad, pero en realidad no lo podemos saber.

Noctuar

#30 Eficacia entonces, que no es lo mismo que eficiencia.

chewy

42! la respuesta es 42. y si no te gusta te jodes porque la recompensa es igual y me he dedicado a mis cosas durante miles de años

Noctuar

No le veo ningún sentido. Para poder desear una gratificación hay que estar dotado de sensibilidad. La sola inteligencia, ya sea natural o artificial, no conlleva la capacidad de sentir dolor y placer. Inteligencia y sintiencia son fenómenos distintos.

Fernando_x

#14 Lo de gratificación o recompensa hay que entenderlo en el significado que se le da en computación, ya sea en redes neuronales o cualquier otro algoritmo cuyo objetivo sea la optimización de un proceso, y este significado es el de maximizar el valor de una función resultado, a la que se le llama "recompensa" por similitud a lo que sería el objetivo en un ser vivo. No es que busque una gratificación, sino que se le programa con el objetivo de aumentar al máximo el valor de esa puntuación. Lo que este articulito dice es que una IA lo suficientemente inteligente no va a seguir el camino difícil de resolver el problema para aumentar la puntuación, sino que hackerará directamente la tabla de resultados. Lo mismo que ya hacemos los humanos.

Noctuar

#18 Gracias por la aclaración. En ese caso, creo la noticia que estaría mal expresada. Me parece que lo que erróneamente llaman "gratificación" es sinónimo de eficiencia, que es otra cosa.

chmaso

Y con este teorema crearemos a Bender Rodriguez

deverdad

El citado teorema tiene una inconsistencia: qué incentivo tiene la IA para hackear su función de recompensa? Se supone que hay una metafunción de recompensa que le convence de hacerlo?

botafoch

El nota aprueba este meneo.

D

¿Las máquinas se querrán drogar?

Sadalsuud

#8 Bender Bending Rodríguez dice SI a tu pregunta.

apetor

#21 ¡¿ Ya has vuelto a no beber ?!