Hace 7 años | Por sorrillo a youtube.com
Publicado hace 7 años por sorrillo a youtube.com

Supongamos que tienes un robot con Inteligencia Artificial y quieres que te haga una taza de té. El robot no presta atención al niño que hay en la cocina y decides detenerlo con el botón de parada. Si el botón de parada ofrece menos recompensa que hacer la taza de té el robot no te permitirá pulsarlo, ya que quiere hacer la taza de té. Si por contra ofrece más recompensa lo pulsará él mismo inmediatamente, sin plantearse hacer la taza de té. Si ofrece la misma recompensa elegirá lo que sea más fácil, que es pulsar el botón.

Comentarios

c

#8 Y precisamente no es viable cambiar el programa editando una línea de código

Cualquier programa se puede cambiar editando líneas de código. Sea IA o no lo sea. Otra cosa es que un algoritmo "automodificable" pueda ser modificado, pero siempre se podrá reeditar e reinstalar.

Un programa jamás será lo mismo que un ser vivo. Ni se podrá "reeducar". El "aprendizaje" de las redes "neuronales" es muy distinto de una persona.

sorrillo

#15 Claro que puedes cambiar editando líneas de código, y también puedes abrir el ejecutable en binario y cambiar unos por ceros y ceros por unos, pero eso no significa que con ello puedas conseguir cambiar el comportamiento del programa para que actúe como tú querrías.

También puedes abrir un cerebro humano y cambiar neuronas, puedes matar alguna que no te caiga bien y puedes cortar conexiones que no quieras que estén allí, pero eso no significa que con esos cambios puedas conseguir que el cerebro de esa persona se comporte como tú querrías.

Las redes neuronales entrenadas muestran resultados que no son intuitivamente previsibles viendo cada una de sus neuronas, por ello el método más eficaz es la reeducación o añadir nuevos grupos de información.

c

#17 Claro que puedes cambiar editando líneas de código, y también puedes abrir el ejecutable en binario y cambiar unos por ceros y ceros por unos, pero eso no significa que con ello puedas conseguir cambiar el comportamiento del programa para que actúe como tú querrías.

Vaya que no. Aunque haya que eliminar completamente el programa viejo e instalar el nuevo.

También puedes abrir un cerebro humano y cambiar neuronas...
La IA no tiene nda que ver con un cerebro humano. Y menos algo construido por humanos frente a algo que SON los humanos.

Las redes neuronales entrenadas muestran resultados que no son intuitivamente previsibles..
Y?. No sé qué conclusiones disparatadas estás sacando de eso...

sorrillo

#20 Aunque haya que eliminar completamente el programa viejo e instalar el nuevo.

Lo que no quieres contemplar es el escenario que ese "programa viejo" tenga extremidades y sea autónomo y pueda decidir que no quiere que le instales nada nuevo ya que entonces no podría conseguir los objetivos que le marcaron en el "programa viejo". Vamos, que estando muerto no te va a poder hacer la taza de té y que si pretendes actualizarlo para que no haga té tampoco te podrá hacer una taza de té.

La IA no tiene nda que ver con un cerebro humano. Y menos algo construido por humanos frente a algo que SON los humanos.

Entiendo que te refieres a que una IA no tiene alma.

Y?. No sé qué conclusiones disparatadas estás sacando de eso...

Que si muestran resultados que no son intuitivamente previsibles no tiene sentido acceder a su código para cambiar líneas de código que cuando se escribieron no estaba previsto que dieran esos resultados, que de hecho son líneas de código de aprendizaje genérico y el resultado obtenido procede de su combinación con el proceso de aprendizaje.

c

#22 Lo que no quieres contemplar es el escenario que ese "programa viejo" tenga extremidades y sea autónomo y pueda decidir que no quiere que le instales nada nuevo

Lo dicho, ficción, más que Ciencia-Ficción.

Vamos, que estando muerto no te va a poder hacer la taza de té

No puede estar muerto algo que no está vivo. Y sí, si se quiere el nuevo programa hará perfectamente la taza de té.

si pretendes actualizarlo para que no haga té tampoco te podrá hacer una taza de té.

Evidentemente.

Entiendo que te refieres a que una IA no tiene alma.

Entiendes mal. Me refiero a que un ser humano no responde a una secuencia de instrucciones. Por lo menos, no a una tan simple como la que podemos escribir los humanos. La naturaleza siempre irá por delante.

Que si muestran resultados que no son intuitivamente previsibles no tiene sentido acceder a su código para cambiar líneas de código que cuando se escribieron no estaba previsto que dieran esos resultados, que de hecho son líneas de código de aprendizaje genérico y el resultado obtenido procede del proceso de aprendizaje.

Lo dicho, ¿qué conclusiones sacas de eso?. Si los resultados del programa son indeseables, basta con cambiar el programa. Evidentemente, si no lo son, no hace falta cambiarlo.

sorrillo

#25 Entiendes mal. Me refiero a que un ser humano no responde a una secuencia de instrucciones.

El ser humano es tan deterministico como un ordenador de sobremesa, tanto es así que una persona que pierda la capacidad de almacenar nuevas memorias actuará igual cada vez que entres a la habitación y lo saludes, al no recordar que eso ya ha ocurrido y que ya te ha explicado lo que te repetirá una y otra vez cada vez que entres.

Lo que nos hace distintos a los unos de los otros es que aprendemos todo el rato, contínuamente, de todo lo que nos ocurre.

Nada nos impide diseñar un ordenador que aprenda todo el rato, contínuamente, de todo lo que le ocurra. ¿De veras crees que podrás mirar su código para saber por qué ha tomado cada una de las decisiones?

Si los resultados del programa son indeseables, basta con cambiar el programa.

Sigues sin querer admitir el planteamiento de que ese programa inicial tenga la capacidad de impedirte que lo cambies.

c

#27 El ser humano es tan deterministico como un ordenador de sobremesa,
Falso. Si fuera así, serías capaz de predecir con un 100% de precisión lo que va a hacer cualquier persona en el minuto/dia/hora/año siguiente.

tanto es así que una persona que pierda la capacidad de almacenar nuevas memorias actuará igual cada vez que entres a la habitación y lo saludes, al no recordar que eso ya ha ocurrido y que ya te ha explicado lo que te repetirá una y otra vez cada vez que entres.
¿Tu crees?

Nada nos impide diseñar un ordenador que aprenda todo el rato, contínuamente, de todo lo que le ocurra
Únicamente que somos incapaces de diseñar nada que aprenda y elabore el contenido aprendido del mismo modo que un humano. Es decir, únicamente tenemos un modo de crear nuevos "humanos". Y no tiene que ver con la electrónica ni la informática.

Sigues sin querer admitir el planteamiento de que ese programa inicial tenga la capacidad de impedirte que lo cambies.

Si tiene esa capacidad, es porque tanto los programadores como los constructores de su hardware le han dotado de ella. Estoy de acuerdo que podemos crear una máquina que pueda "decidir" eliminar a la humanidad. Pero eso no lo convierte en ninguna entidad "inteligente".

sorrillo

#29 Si fuera así, serías capaz de predecir con un 100% de precisión lo que va a hacer cualquier persona en el minuto/dia/hora/año siguiente.

Puedes predecir lo que hará una persona que ha perdido la capacidad de almacenar nuevos recuerdos. Una que no aprenda de todo lo que ocurre a su alrededor.

¿Tu crees?

Sí, en los casos en los que ha ocurrido eso es lo que se ha observado.

Únicamente que somos incapaces de diseñar nada que aprenda y elabore el contenido aprendido del mismo modo que un humano. Es decir, únicamente tenemos un modo de crear nuevos "humanos". Y no tiene que ver con la electrónica ni la informática.

De nuevo volvemos al concepto del alma, a la idea que el ser humano tiene algo que no puede existir fuera de un ser humano. Eso es más pensamiento religioso que científico.

Si tiene esa capacidad, es porque tanto los programadores como los constructores de su hardware le han dotado de ella. Estoy de acuerdo que podemos crear una máquina que pueda "decidir" eliminar a la humanidad. Pero eso no lo convierte en ninguna entidad "inteligente".

Parte de la premisa que solo el ser humano puede ser inteligente, que requiere de algo que no puede existir fuera de la biología o alguna idea preconcebida similar.

c

#32 Eso es más pensamiento religioso que científico.
No, no volvemos al concepto de alma. Son los hechos. Cualquier cosa que no esté soportada por hechos, es ficción. Ni siquiera existe una teoría científica que lo avale ni de lejos.

Parte de la premisa que solo el ser humano puede ser inteligente
Complicado. Primero tendríamos que definir lo que entendemos por "inteligencia". Desde luego, que el hombre (que entendemos como ser "inteligente") sea capaz de crear un dispositivo con una "inteligencia" igual o superior a sí mismo es completa ficción. Y el simple concepto de que sea posible que algún ente sea capaz de crear algo más inteligente que él mismo chirría.

No conocemos nada que se aproxime a la idea general de "inteligencia" que no sea biológico.

sorrillo

#34 Y el simple concepto de que sea posible que algún ente sea capaz de crear algo más inteligente que él mismo chirría.

De nuevo, el ser humano ha podido crear maquinas que son más fuertes que él, calculadoras que calculan más rápido que el ser humano, ordenadores que le pueden ganar en juegos donde es imposible calcular el desenlace (Go) y en juegos donde con lenguaje natural se pregunta sobre aspectos del ámbito cultural.

Claro que el ser humano puede hacer cosas que sean "más" que el ser humano, no existe ningún impedimento físico para ello.

Y claro que todo es ficción hasta que se hace realidad, era ficción que el mejor jugador de Go del mundo perdiera ante una máquina hasta que perdió.

No conocemos nada que se aproxime a la idea general de "inteligencia" que no sea biológico.

Hace unos años afirmarías que para que un ordenador te sepa decir que hay un gato en una fotografía necesitaría ser inteligente, ahora que lo hacen la inteligencia es otra cosa. Iremos subiendo el listón por amor propio en cada ocasión, hasta que ya no tenga sentido que seamos nosotros quienes decidamos donde está el listón.

c

#35 Hace unos años afirmarías que para que un ordenador te sepa decir que hay un gato en una fotografía necesitaría ser inteligente
De eso nada. Es un problema de una simplicidad aplastante comparados con lo que estamos hablando. Otra cosa es que no se tuvieran recursos computacionales suficientes hasta ahora.

el ser humano ha podido crear maquinas que son más fuertes que él
Si, desde hace miles de años. ¿Donde está la inteligencia de un palo?

calculadoras que calculan más rápido que el ser humano
También, desde hace miles de años. ¿Donde está la inteligencia de un ábaco?

ordenadores que le pueden ganar en juegos donde es imposible calcular el desenlace (Go)
Eso de que es imposible calcular el desenlace cuéntaselo al que programó la aplicación que ha ganado, a ver que te dice. O a los creadores del deep-blue....

sorrillo

#37 Lo dicho, ir subiendo el listón por amor propio sin reconocer los avances.

También ganar a los mejores jugadores de Póker al Texas Hold'em es algo que no requiere inteligencia alguna, dos piedras mismo pueden hacerlo.

n

#29 serías capaz de predecir con un 100% de precisión lo que va a hacer cualquier persona en el minuto/dia/hora/año siguiente

Sí, en teoría se podría si se conociera lo que hay en su memoria y se controlaran todos los inputs. Es un problema demasiado grande para realizarlo en la práctica, pero muy a menudo se puede adivinar lo que hará una persona que conoces cuando le digas determinada cosa. Es parecido al troleo pero en la vida real.

c

#55 Es un problema demasiado grande para realizarlo en la práctica

Pues eso.

pip

Mi sueño es morir viejo y asesinado por mi propio robot.
Es un final bonito para un programador.

c

#33 Hoy en día son capaces de identificar objetos en fotografías, algo impensable hace unas décadas
Buen avance. Pero eso no es inteligencia. Cualquier ser vivo dotado de visión lo hace.

hoy en día son capaces de responder a preguntas en lenguaje natural
Me parto. ¿Existe un dispositivo capaz de mantener una conversación mínimamente coherente?...... Y no hablamos del test de turing...

hoy en día son capaces de hacer ciertos diagnósticos médicos con mayor precisión que el ser humano
Lo dicho, sistemas expertos. Poco más que grandes bases de datos con sistemas de consulta bien diseñados. Evidentemente, los médicos tienen limitaciónes en cuanto a la cantidad de información que retienen/conocen que las bases de datos no tienen. Pero.... que prefieres, ¿un buen médico, o un sistema de estos?

hoy en día son capaces de sustituir el trabajo de centenares de abogados en ciertas tareas que requieren interpretar textos escritos, algo impensable hace unos años, hoy en día son capaces de redactar noticias para medios informativos, algo impensable hace unos años ...
Otra vez, clasificación y almacenamiento de datos. Tareas puramente mecánicas. Respecto a lo de "redactar noticias", no lo dudo .

Han hecho pasos de gigante en poco tiempo
Ninguno que los acerque a la inteligencia en el sentido "humano". Lo que más se está aproximando son las redes neuronales y están muy muy muy muy lejos.

que tú no seas capaz de imaginar o pensar en lo que se pueda conseguir en próximos años no es sorprendente
No tienes ni idea de lo que soy capaz de imaginar. Pero eso no lo convierte en realidad.

El vídeo del meneo aborda un problema que entiendo es necesario abordar si queremos aspirar a que lo que consigamos en los próximos años no nos suponga una amenaza.

Ejem. Puestos a imaginar, lo de imaginar problemas inexistentes y ponerse a abordarlos me parece el colmo de la imaginación...

sorrillo

#c-36" class="content-link" style="color: rgb(227, 86, 20)" data-toggle="popover" data-popover-type="comment" data-popover-url="/tooltip/comment/2743186/order/36">#36 Mi conclusión de tu comentario la encontrarás en # 40: El problema del botón de parada en una Inteligencia Artificial [ENG]/c40#c-40

n

#36 que prefieres, ¿un buen médico, o un sistema de estos?

Facil. Un médico consultando al sistema.

El sistema hará el trabajo que requiere saberse muchísimos datos, y el médico se dará cuenta si contesta una burrada.

c

#58 Yo también.

D

El planteamiento del problema no soporta la lógica más simple.

sorrillo

#2 Puede interesarte ver el vídeo que apunto en el primer comentario, donde se explica de forma introductoria el razonamiento del planteamiento y sus conclusiones.

Obviamente es una versión muy simplificada de los problemas reales con la que se pretende abordar el problema generalizado para que esa solución sea extrapolable a situaciones más complejas.

deverdad

#2 Como siempre, los artículos sobre los peligros de la inteligencia artificial se entienden mucho mejor si remplazamos las palabras "inteligencia artificial", "robot" o "maquina" por "empresa" o "corporación".
Las empresas intentan maximizar su "utility function" que es el beneficio. Hemos hecho leyes para que ese objetivo se ajuste mas o menos a nuestros objetivos sociales: que proporcionan productos o servicios útiles y empleo. Y si no cumplen, las llevamos a juicio, que sería el equivalente del botón de apago. Pero las impresas pueden intentar evitar eso, pagando abogados, sobornando políticos para que cambien las leyes a su ventaja o engañando a los reguladores haciendo un "volkswagen", como ya lo dicen en el vídeo. Es un problema importante y no resuelto.
El vídeo plantea el mismo problema, pero con robots inteligentes en lugar de empresas.

D

Con los ordenadores y lenguajes de programación que hay hoy en día es imposible hacer una IA real, es decir, una que sea consciente de sí misma y piense de manera autónoma. Solo se pueden hacer máquinas que parece que piensan por sí mismas y que parece que son conscientes de sí mismas. Por eso es lerfectamente posible introducir una secuencia de código que controle a las IA en caso de emergencia. El artículo es una estupidez.

sorrillo

#42 ¿Me puedes decir cuales son las diferencias fundamentales entre algo que parezca consciente de sí mismo y algo que lo sea? ¿Y de algo que parezca que piensa por sí mismo y algo que lo haga?

H

#43 Efectivamente, si no puedes distinguir los dos, a efectos prácticos son iguales.

Si parece un pato, nada como un pato, y grazna como un pato, entonces probablemente sea un pato.
https://es.wikipedia.org/wiki/Test_del_pato

TIL: interesante lo del razonamiento abductivo

D

#43 tú piensas por ti mismo. Nadie te ha introducido un código para que si pasa A hagas una cosa y si pasa B hagas otra. Cualquier IA debe ser programada, por tanto no es autónoma, solo lo parece. Una IA que se sale de control ha sido mal programada y punto. Como un programa que se cuelga.

Sobre tu pregunta sobre qué es ser consciente de sí mismo, es más difícil de contestar. Pero estoy seguro de que la app para iphone del gato que "habla" contigo sería un ejemplo de algo que parece autónomo y no lo es.

sorrillo

#61 Nadie te ha introducido un código para que si pasa A hagas una cosa y si pasa B hagas otra. Cualquier IA debe ser programada, por tanto no es autónoma, solo lo parece. Una IA que se sale de control ha sido mal programada y punto. Como un programa que se cuelga.

Yo reacciono ante los estímulos externos y aprendo de ello, si toco algo que está excesivamente caliente siento dolor y retiro la mano y de ello aprendo que si vuelvo a hacerlo volveré a tener ese estímulo negativo y por ello no lo hago. Si (A) pongo la mano en el fuego (B) la aparto y luego (C) no pongo más la mano en el fuego.

Ese programa me viene de serie, está en mis genes el diseño para reaccionar ante esos estímulos de esa forma. La clave está en que aprendo y sumando muchas reacciones a muchos estímulos consigo un comportamiento que se define como "inteligente", que "piensa" (alguien que no pone la mano en el fuego es alguien que piensa).

La clave está en el aprendizaje.

A las IA que se programan con redes neuronales se les programa una serie de estímulos básicos, una serie de recompensas, y a partir de ahí aprenden con la información de prueba que se les proporciona y más adelante de la propia información que generan y en la que participan. Si haciendo (A) consigo el resultado (B) que puntúo con el valor (5/10) y haciendo (D) consigo el resultado (E) con el resultado (7/10) la próxima vez haré (D) para conseguir la mayor puntuación.

En cuanto esas normas básicas consiguen complejidad suficiente para que no sea intuitivo ni A, ni D entonces es cuando podemos considerar que actúa de forma "inteligente", que "piensa".

Y es irrelevante si esa variación sobre el programa original ha sido introducida por alteraciones genéticas o por un generador de números aleatorios, así como si ha sido por el aprendizaje de un grupo de datos o de otro.

Cuando hablamos de "inteligencia" o de "pensar" no nos referimos al proceso que lo origina si no al resultado.

D

#67 ¿existen IA a las que no es necesario introducir ni una línea de código? Si no es así, nunca se podrán considerar independientes. A un niño no es necesario programarlo, aprende solo.

sorrillo

#67 Es a nivel divulgativo pero esto te puede ayudar a tener un primer punto de contacto con las redes neuronales:

http://blogs.elconfidencial.com/tecnologia/tribuna/2016-12-06/caja-negra-software-big-data-ai-informatica_1299837/

A un niño no es necesario programarlo, aprende solo.

La programación que lleva de serie le permite aprender, algo similar ocurre con las redes neuronales en informática, son las normas que le permiten aprender. Lo contenidos vienen de la experiencia del niño, en el caso de la informática los contenidos vienen de grupos de datos con los que se entrena a esas redes neuronales.

n

#42 es lerfectamente posible introducir una secuencia de código que controle a las IA en caso de emergencia

Es video presenta el problema más general en el que el botón es cualquier cosa que el robot no puede accionar por su propia voluntad.

D

#59 pues eso. Se escribe una parte de código a la que la IA no pueda acceder de ninguna manera y ya está. Si la IA logra acceder a ese código e inutilizarlo es que está mal programada.

sorrillo

#62 Si la IA logra acceder a ese código e inutilizarlo es que está mal programada.

Al contrario, eso demostraría un alto grado de inteligencia.

Y si pudiera manipular al ser humano para que lo hiciera por él también.

D

#68 no demuestra inteligencia, demuestra que está programada mal(o bien si eso era lo que se buscaba)

n

#62 ¿no has visto el video? La IA manipulará al que puede apretar ese botón para conseguir que lo haga, o que no lo haga, según lo que le interese. Si no quiere que lo apriete, una solución es volkswagenizar a su observador.

D

#73 igual que un troyano te manipula para que le des los permisos de administrador. Lo que no quiere decir que piense por sí mismo. Solo le han programado así. Repito mi punto de partida: me da igual lo que haga una IA, en el momento en que hay que meterle código para que empiece a funcionar no podemos hablar de un ente independiente.

sorrillo

#76 en el momento en que hay que meterle código para que empiece a funcionar no podemos hablar de un ente independiente.

Los genes no dejan de ser el código que hay que meterle a una célula para que empiece a funcionar. ¿No eres un ente independiente?

D

#79 je je, ya veo por donde vas... pero entonces, ¿quién nos ha programado? Cuidado que te estás metiendo en terreno resbaladizo

sorrillo

#81 Nadie, somos fruto del azar.

De la misma forma que si los ordenadores fueran un elemento básico de la naturaleza y recibieran cambios aleatorios en su programación durante miles de millones de años podría llegar a surgir un código que mostrase consciencia.

El código podría ser, de hecho, indistinguible del que pueda programar un ser humano (la estructura de la vida con base biológica es mucho más compleja de lo que somos capaces de escribir en un ordenador).

D

#73 de todos modos nos estamos metiendo en un terreno filosófico bastante complejo en el que se trata de definir los límites de lo humano. Sinceramente yo tampoco tengo claras muchas cosas y el futuro que nos espera en este sentido puede ser apasionante o terrible.

D

Muy interesante, no conocía el canal, me lo guardo. Gracias.

Una pena que la gente responda lo primero que le pase por la cabeza sin molestar ni en ver el vídeo.

D

Esto me recuerda una escena de Star Trek.



Para los que no sepan ingles, el capitán le dice a Data que desactive su chip emocional.

D

Que gilipoyeeeeeeeeezzzzzzzzz!!!!!!!!

Somos conscientes de que el botón de parada, no tiene por que ser un botón ni estar físicamente en el robot no?

Puede ser un comando verbal, algo tan complicado como "para" pronunciado por su dueño, algo mas currado como un botón de parada en una app de control, o mas probablemente si la que quiere un sistema de parada internacional, un comando especifico transmitido por RF.

La IA ni siquiera tiene que saber de su existencia ni poder pulsarlo.

oPrY dalrle una vuelta mas podrías poner, un sistema de seguridad por el que si en algun momento la IA no puede recibir el comando (receptor deshabilitado, app del movil desinstalada...) la IA se pare automaticamente.

Y esto es pensando 2 minutos.

n

#10 Y esto es pensando 2 minutos.

Ese es precisamente el problema. Pero en dos minutos te debería haber dado tiempo de pillar que no está hablamdo de ese caso físico en concreto, sino del problema general, pero usando un ejemplo. Por ello debes seguir el video con las restricciones que arbitrariamente se añaden, pues el caso general TIENE esas restricciones.

c

#19 no seas egocéntrico

Precisamente lo egocéntrico es pensar que el ser humano es capaz de crear inteligencias iguales o superiores a su propia inteligencia. Es un equivalente a hacer avanzar un barco soplando sobre su vela....

sorrillo

#23 Quien podría imaginar que el ser humano pudiera ser capaz de crear máquinas que fueran más fuertes que él, o que pudieran calcular resultados matemáticos más rápido que un ser humano. Inimaginable, vamos.

O que te pudiera ganar en un concurso de preguntas en lenguaje natural sobre ámbitos de tipo cultural. Inimaginable completamente.

c

#24 Quien podría imaginar que el ser humano pudiera ser capaz de crear máquinas que fueran más fuertes que él

Todo el mundo desde que aprendió a usar una palanca o cualquier herramienta.

o que pudieran calcular resultados matemáticos más rápido que un ser humano

Todo el mundo desde que se pudo formalizar un cálculo en una serie de pasos definidos y no ambiguos.

O que te pudiera ganar en un concurso de preguntas en lenguaje natural sobre ámbitos de tipo cultural

Si se trata de manejar grandes volúmenes de información, una máquina siempre tendrá las de ganar. Y en el momento en que seamos capaces de reducir ámbitos de la realidad a pasos definidos y no ambiguos, será posible crear máquinas que lo hagan más rápido y con menos fallos que un ser humano.


Pero una máquina jamás hubiera inventado el cálculo diferencial, ni creado la teoría de la relatividad ,ni imaginado e implantado algo como Internet. Ni siquiera tweeter.

sorrillo

#26 No jodas, ¿todo eso es posible? ¿Eso no es como hacer avanzar un barco soplando sobre su vela?

Impresionante, me dejas anonadado.

Si se trata de manejar grandes volúmenes de información, una máquina siempre tendrá las de ganar.

La realidad tiene ingentes volúmenes de información, ¿el ser humano tiene las de perder?

Pero una máquina jamás hubiera inventado el cálculo diferencial, ni creado la teoría de la relatividad ,ni imaginado e implantado algo como Internet.

Por que no existían, las estamos creando nosotros. Lo que no puedes conocer es lo que puedan ser capaces de inventar y crear en un futuro.

c

#28 Por que no existían, las estamos creando nosotros

Porque conozco en qué están basadas las máquinas que estamos creando nosotros. Y no se acercan ni de lejos a lo que hace un ser humano. Otra cosa es la ficción. En una novela, lo que quieras.

sorrillo

#30 Y no se acercan ni de lejos a lo que hace un ser humano.

Hoy en día son capaces de identificar objetos en fotografías, algo impensable hace unas décadas, hoy en día son capaces de responder a preguntas en lenguaje natural, algo impensable hace unas décadas, hoy en día son capaces de hacer ciertos diagnósticos médicos con mayor precisión que el ser humano, algo impensable hace unos años, hoy en día son capaces de sustituir el trabajo de centenares de abogados en ciertas tareas que requieren interpretar textos escritos, algo impensable hace unos años, hoy en día son capaces de redactar noticias para medios informativos, algo impensable hace unos años ...

Han hecho pasos de gigante en poco tiempo, que tú no seas capaz de imaginar o pensar en lo que se pueda conseguir en próximos años no es sorprendente, hemos cometido ese error en infinidad de ocasiones.

El vídeo del meneo aborda un problema que entiendo es necesario abordar si queremos aspirar a que lo que consigamos en los próximos años no nos suponga una amenaza.

deverdad

#23 Pensar que el ser humano nunca será capaz de crear inteligencias superiores a su propia inteligencia me parece una afirmación atrevida y poca rigurosa.

c

#88 Bueno. A mí en cambio me parece lógico. De momento, los hechos me dan la razón.

Es más, el hombre no es capaz de crear "inteligencias", por más que las llamemos IA.

deverdad

#90 Si matizas con "de momento", entonces tienes toda la razón del mundo.
Por contrario, si dices "nunca", entonces es una proposición muy díficil de demonstrar.

c

#93 Estoy de acuerdo. De hecho ni siquiera puedo decir que nunca lloverá hacia arriba o que el principio de conservación de energía se vaya a cumplir siempre.

c

#19 Hombre, no soy un experto. Pero algo de idea tengo, y no es lo que se transmite en los medios de comunicación, ni siquiera las redes neuronales de última generación. La mayoría de IA de uso común son sistemas expertos, cuya mejor equivalencia es una base de datos con buenos algoritmos de consulta.

Nada que ver ni por asomo al cerebro humano. Ni siquiera los sistemas más punteros.

n

#21 Una base de datos ES un sistema de inteligencia artificial. Lo que está en disputa es si los otros sistemas que hay son, o no son, equivalentes a una base de datos.

c

#57 Bien. En eso podemos estar de acuerdo.

c

#16 Si es capaz de cobrar conciencia de sí misma, dejará de ser una máquina.

musg0

#31 o seguirá siendo una máquina al igual que el ser humano y los animales

D

Yo le pondrían también un reset para cuando se te empiece a ir de las manos...

sorrillo

Aquí hay una primera parte introductoria al problema:

[ENG]

D

Se les podría dar una vida máxima de 4 años, y si llegan a desarrollar la capacidad de sobrepasar ese periodo, entonces tendremos a los de la brigada especial de blade runners para cazarlos, Se me ocurre....

r

Debería ver el video pero... no entiendo ésto:

"Si el botón de parada ofrece menos recompensa que hacer la taza de té el robot no te permitirá pulsarlo,"

qué tipo de "dilema" es ése???

Si es un botón de parada, la IA no debería siquiera "plantearse" ése "dilema", porque debería estar programado para obedecer y punto.

Y en el caso de que pudiera "planteárselo", analizando qué tiene prioridad, si el hacer la taza de té o el riesgo que implica no parar (para lo cual tiene que ser "conciente" del riesgo...), pues no debería haber llegado siquiera a plantearse nada... hubiera parado y punto...

qué me estoy perdiendo?

D

#49 no es un dilema, es simplemente un absurdo, yo he abandonado el vídeo a los siete minutos. En general, es una extrapolación bastante pobre del funcionamiento de una red neuronal al hipotético comportamiento de una IA de un robot capaz de ir a tu cocina a prepararte un té. Por alguna razón el individuo insiste en que la IA de un "robot doméstico" debe ser necesariamente una IA general, supongo que para ganar visitas.

sorrillo

#51 Es un ejemplo concreto para abordar el problema general, te has quedado con la anécdota del té cuando de lo que trata es de algo muchísimo más amplio.

En cualquier caso es positivo que vayas avanzando en el vídeo, primero viste1 solo hasta el 5:37 y ahora ya siete minutos, con suerte en un par de días lo habrás visto completo.

1 El problema del botón de parada en una Inteligencia Artificial [ENG]/c44#c-44

D

#51 no, no, lo he abandonado. No me malinterpretes.

sorrillo

#49 Se parte de la premisa que a la IA se le marcan objetivos y la forma de incentivar que se cumplan esos objetivos es estableciendo recompensas. Por ejemplo una recompensa puede depender del tiempo que tarde en hacer la tarea encomendada, de forma que a menor tiempo mayor recompensa.

El objetivo final de la IA es hacer aquello que genera mayor recompensa, que si está bien definido será aquello que tiene mayor utilidad para el ser humano (mayor número de tareas, más útiles, en menor tiempo, etc.).

Al botón de parada puedes establecerle un tipo de recompensa o puedes no establecerle ninguna, o que la IA no pueda conocer la existencia del botón siquiera.

En cada escenario te encuentras con decisiones distintas del robot para conseguir la máxima recompensa, si pulsar el hecho que se pulse el botón le impide obtener una recompensa entonces optará para que no se pulse, intentará evitarlo.

Puedes poner recompensa a obedecer al ser humano, pero entonces lo único que consigues es "chutar la pelota", el problema de fondo sigue siendo el mismo, qué ocurre cuando el resultado no es el deseable y cómo detenerlo sin que éste intente impedirlo. De hecho si te obedece pulsando el botón de parada no podrá obtener recompensas futuras y por ello le sería más rentable, podría obedecer más órdenes y tener más recompensas, si no cumple esa órden en concreto.

Lo que en realidad queremos que obedezca no son nuestras órdenes si no nuestra voluntad, que son cosas distintas, por ejemplo imaginatelo conduciendo un vehículo donde van tus hijos, o haciendo de niñera, no querrás que cumpla a ciegas las instrucciones dadas si no que tome las mejores decisiones para llevar a cabo los objetivos marcados (1-proteger a los niños, 2-dejarlos delante del colegio).

c

#53 que a la IA se le marcan objetivos y la forma de incentivar que se cumplan esos objetivos es estableciendo recompensas.
¡Coño! Quien le marca esos objetivos? No se puede variar el modo de conseguirlos o la evaluación de las recompensas? No quedamos en que era autónomo?

sorrillo

#96 Se pueden hacer muchas cosas, y a cada cual se deben analizar las consecuencias.

La cuestión de fondo es que el problema no desaparece por el hecho que se puedan establecer las recompensas, esa es una herramienta sobre la cual debes establecer criterios para empezar a abordar el problema que plantea el contenido del meneo.

c

#99 Sí desaparece. Basta con establecer las recompensas del modo correcto para conseguir lo que se quiere.

n

#49 qué me estoy perdiendo?

Pues el que....

Debería ver el video

D

#49 en esos siete minutos que soporté antes de abandonar el vídeo, se parte de la premisa de que de algún modo no tenemos control para decidir qué debe aprender una IA y qué no. El refuerzo de una IA no es un fenómeno que desconozcamos, o que sea incomprensible, o algo así.

Ahora bien, si tu IA tiene en consideración cosas que van más allá del universo de la tarea que debe desempeñar, tienes un problema de scope. Y eso no es un problema de la IA. Eso es un problema de no tener una tarea bien definida, y afecta a cualquier sistema en general.

c

#49 Y eso sin valorar lo de "ofrece menos recompensa". Qué quiere decir eso?. Que le puede llevar a considerar que le ofrece más o menos recompensa?

Es un absurdo.

sorrillo

#94 La recompensa es una forma de modelar los incentivos de la IA. Como humano te ofrece más recompensa comer que poner la mano en el fuego, de hecho recibes una recompensa negativa cuando se produce dolor de forma que aspiras a volver a la situación de ausencia de dolor.

En una IA siempre habrá cosas que le supongan mayor recompensa que otras, ya que si no hubiera nada que le supusiera una recompensa, un incentivo, su situación natural sería la de inactividad completa. Lo cual es absurdo por que no nos aporta ninguna utilidad.

c

#97 Quién establece esas recompensas? Se establecen solas? Bajo qué criterios? Cómo afectan al libre albedrío de la IA? Tiene realmente una IA de este tipo (ficticia, por supuesto) libre albedrío?

sorrillo

#100 Para la cuestión que aborda el contenido del meneo no es relevante el cómo se establezcan si no el hecho que existan, con ello es suficiente para modelar el problema que plantea y empezar a establecer estrategias para abordarlo.

Aún así una fórmula sería establecerlos codificándolos directamente, pero lo cierto es que raramente encontrarás una fórmula de definirlo de forma pura sin que tenga consecuencias desastrosas en ciertos supuestos. Seguramente el mejor enfoque sea por aprendizaje en redes neuronales, lo que te le permite que aprenda en base a ejemplos y son esos ejemplos en los que debes trabajar. Y esos ejemplos pueden ser preparados con antelación o bien se le pueden mostrar en tiempo real sobre la marcha, como se haría con un bebé.

Respecto al libre albedrío si me lo defines de forma concreta podremos discutir sobre si el ser humano lo tiene y sobre si lo tendría una IA y en que medida, pero para ello necesitamos una definición.

sorrillo

#72 El ser humano no se define a sí mismo por su biología, nos reconocemos en nuestra identidad, en nuestra consciencia. En ese sentido un proceso gradual de traspaso de esa consciencia de la biología humanoide a una distinta no creo que fuera traumático para la humanidad.

Creo que así será como ocurrirá y es inevitable, salvo que nos extingamos todos antes de la evolución o puente del Homo Sapiens hacia, digamos, el Homo Inorganicum.

No sé que decirte, los compuestos orgánicos han demostrado su eficiencia y si utilizamos los mecánicos o inorgánicos es más por incapacidad de dominar los orgánicos que por otro motivo. Eso sin duda lo solucionaremos en un futuro no muy lejano.

D

#74 Sí, claro, llevas razón que lo que nos define como humanos, lo que nos hace distintos a otro humano y a otro ser es la conciencia, el yo mismo de cada uno de nosotros... es decir, a fin de cuentas, lo que a mi me hace YO es la información que tengo de YO en esta carcasa biológica con forma humana... abundando más, lo que a mi me hace YO es información, información que aunque esté en el cerebro es posible se pueda traspasar a otro circuito o soporte como pudiera ser un gran disco duro o.... ta chan, ta chan... Inteligencia Artificial.

YO mismo, tú, tu YO, puede ser parte de esa IA en el futuro y la propia IA tomar conciencia de sí, del mundo, independencia respecto a otra IA, respecto a otro ser (humano o no) y así las posibilidades son inmensas.

Ni que decir tiene que, dentro de esa IA, puede que tome elementos inorgánicos para contener su YO o puede que, si le conviene, en su sapiencia, toma otra forma con elementos orgánicos o una mezcla de ambos.

Es decir, es un mundo increíble el que puede que se abra en el futuro y es inevitable porque en el momento en que el hombre tenga capacidad de aumentar sus limitaciones, por aquello de querer ser un semidios, va a mejorarse y perfeccionarse... hasta llegar a ser cuasi-dios en un IA.

Y tal, vez, ante tanta soberbia del saber casi absoluto a lo largo de milenios, la IA retorne al gustillo imprevisible que aporta la virtuosa locura de ser y morir, es decir, nosotros.

p

El botón no debe estar al alcance del robot. Además, no tiene por qué ser un botón físico, puede ser una palabra clave o frase que, al oírla el robot, la procese a un más bajo nivel que el resto y lo desconecte. Algo así como la pulsación de 4 segundos en el botón de encendido del PC para apagarlo sin está colgado, pero a distancia.

Si fuera un botón físico, debería estar fuera del alcance del robot, ya sea por su posición o porque mediante programación no pueda procesar pulsarlo.

sorrillo

#13 Esas ideas también son analizadas en el vídeo, y los problemas que tienen y que impiden considerar esas propuestas como una resolución del problema.

D

#14 Al final es la historia de Skynet, si es capaz de cobrar conciencia de sí misma, es entonces cuando estaremos jodidos.

c

#14 No he visto el vídeo, es cierto. Pero me da que parte de la premisa de una IA que sería el equivalente a una persona, algo que es más ficción que Ciencia-Ficción.

n

"It will volkswagen you"

Sí señor, esto es crear nuevo vocabulario. Me lo apunto.

D

El boton de apagado no tiene nada que ver con el funcionamiento de una red neuronal. Es simplemente eso, tirar del enchufe.

sorrillo

#80 Buena suerte encontrando el enchufe en un robot militar con IA con capacidad de ponerse en modo "avión" para evitar la detección del enemigo.

simple_man

En este caso se aplicaría la navaja de Navaja de Ockham ¿ que seria lo mas lógico ? dar prioridad a la acción humana ; si se crea un botón de emergencia que paraliza por completo el robot , el robot no tendría la posibilidad de entrar en juicios morales o priorizar una acción sobre otra

La inteligencia artificial todavía "esta en pañales" ; pero subestimamos la labor de los ingenieros, porque seguramente esos juicios morales ya se los plantean ellos cada vez que dan un paso mas en la AI y actúan sobre ello para que los humanos siempre vayamos un paso por delante de las maquinas

D

He visto hasta 5:37 y todo son argumentos bastante pobres, sacados de novelas de ciencia ficción barata.

p

El botón de parada debe ser inaccesible al propio robot, ¿no?

sorrillo

#3 El vídeo también aborda ese escenario, básicamente plantea que si es inaccesible pero el robot sabe que tú puedes pulsarlo actuará para manipularte para que lo pulses, por ejemplo actuando incorrectamente de forma deliberada para llegar al objetivo que el botón sea pulsado lo antes posible. O bien te manipulará para que creas que no debes pulsarlo nunca, o para que no puedas.

Si por contra lo planteas como un botón del cual no conoce su existencia mantenerlo en secreto de forma permanente es un reto, especialmente si la IA tiene como función analizar la realidad y sacar sus propias conclusiones. Como preguntarse el motivo por el cual no tiene constancia de tener un botón de parada, cuando sería lo razonable dado como es el ser humano.

c

#5 El robot tiene un programa que seguirá puntillosamente. Por mucha "IA" que sea.

Si no quieres determinadas consecuencias, cambia el programa.

Noticia idiota,

f

#7 no tienes mucha idea sobre IA verdad? Yo tampoco pero si que puede desarrollarse hasta limites inimaginables por el hombre, no seas egocéntrico y pensar que no nos pueden superar

n

#19 En teoría no hay nada que impida construir una máquina extraordinariamente inteligente. Pero hay problemas prácticos, físicos, de hardware, que van a estar ahí en medio antes de llegar a algo equiparable a un humano.

deverdad

#7 Si es el programa de una "IA", no habrá relación directa entre las lineas del programa y las consecuencias. Es un programa capaz de aprender y de adaptarse a cualquier circunstancia. Si no quieres determinadas consecuencias, puedes cambiar el programa para evitar estas consecuencias, pero habrá otras que no hayas previsto. Es el tema de los "parches" que se discuta en el vídeo (en el 15'20").

c

#87 Depende del tipo de IA. Y sí, determinadas cosas se pueden decidir antes perfectamente.

c

#87 Por cierto, ningún programa que haya escrito el hombre es "capaz de adaptarse a cualquier circunstancia"

deverdad

#91 Estamos hablando de una AI "general".

c

#92 Ah!. Puestos a imaginar, podemos imaginar muchas cosas.

D

#5 Yo creo que ahí está la madre del cordero, es decir, en el "botón de parada", en cómo desconectar o inutilizar la IA (Inteligencia artificial)

1- La IA, que todo lo lee (incluido éste mismo mensaje mio y tuyo) sabrá que debe o tiene que haber un sistema de apagado.

a) Si no se le dice dónde está o cómo funciona ese sistema lo buscará por sí misma o presionará para descubrirlo.
b) Si se le dice dónde está y cómo funciona ese "botón" lo comprobará lo cual le llevará (lo diga o no) a intentar impedirlo y, no obstante, volverá al punto a) para verificar que no hay más "botones" ocultos alternativos.

2- Comprobará irremediablemente que no tiene instalado un virus o límite que, sin necesidad de desconexión por voluntad externa, pasados ciertos parámetros la desconecte. Por ejemplo, programa que analizado y comprobado por la propia IA que ya sólo quedan en el mundo un millón de humanos (por la circunstancia que fuese), se desconecte automáticamente.

3- La presencia de otra IA con capacidad suficiente, sin lugar a dudas, de desconectar la IA primera que se niegue a desconectarse así misma o consiga encontrar y anular el botón de parada. Ésto crearía tal vez más que una solución un problema doble, porque es posible que en vez de tener una IA tendríamos dos IA potencialmente enemigas de lo humano-biológico.

4- La creatividad de la IA para, aún en el caso de no encontrar ese botón de parada, tener elementos de arma tal como creación de otra IA alternativa sin que el humano lo sepa, a modo de respaldo o copia de sí misma con la capacidad de volver al punto 1 y combatir al humano que pudo pulsar el botón de parada.

...

D

Vemos la Inteligencia Artificial (IA) como si fuera un robot o algo de eso pero resulta que la IA no tiene por qué ser un robot, sino un programa muy elaborado capaz de infiltrarse en cualquier dispositivo electrónico del futuro, que puede tomar casi cualquier forma física y, lo más importante de todo, con capacidad de tomar conciencia y tener creatividad, es decir, sería uno más de nosotros (sin limitaciones biológicas) con un potencial enorme de inteligencia y creatividad.

Sinceramente, creo que una vez insertada la IA en la red ya NO hay marcha atrás y no podrá desconectarse del mundo salvo que desconectemos todos los sistemas informáticos, es decir, nunca o la extinción.

Sólo queda cruzar los dedos, probar una IA muy inteligente y ver si su evolución tiende a eliminarnos o no. Si tiende a eliminarnos (aunque sea a lo largo de los siglos de forma incruenta) entonces digamos que la era del hombre (del homo sapiens tal cual nos concebimos ahora) se acabó.

sorrillo

#66 Una alternativa a eso sería modificar en paralelo al ser humano para que la máquina estuviera más integrada en nosotros, que se convirtiera en una relación de beneficio mutuo, simbiótica. De forma que sus objetivos y los nuestros fueran los mismos.

D

#69 Yo creo que eso es lo más factible, es decir, el posthumano en el que ESO ya no es un humano tal cual lo concebimos ahora pero tampoco es una máquina con Inteligencia Artificial tal cual la concebimos también ahora, es decir, ajena totalmente a lo humano... y ello pasará a lo largo de décadas o incluso siglos.

Sin embargo, necesariamente, creo que la IA (aun integrada voluntariamente poco a poco por nosotros) tenderá explorar el universo y, puestos ahí, depender exclusivamente de lo biológico (huesos, venas, músculos, órganos, extremidades, sensaciones, amor, miedo...) puede que sea una limitación muy grave con lo cual creo que la tendencia es adaptarse a lo más eficiente, es decir, a adoptar forma ya completamente alejada de la forma humana desde el punto de vista físico y metafísico.

Creo que así será como ocurrirá y es inevitable, salvo que nos extingamos todos antes de la evolución o puente del Homo Sapiens hacia, digamos, el Homo Inorganicum.

c

#66 Ficción. También podría venir Thor y mandarnos a todos al Valhalla.

D

#98 Skynet te está mirando a los ojos en éstos momentos. Corre, ¡insensato!

D

Le pones una robota en lencería y lo arreglas.

1 2