Portada
mis comunidades
otras secciones
#6:
#1 Muy bien! así los clientes aprenderán a especificar exactamente que és lo que quieren.
Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!
Si dan medallas esta IA se merece un par.... y una estatua en una plaza!
Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!
Si dan medallas esta IA se merece un par.... y una estatua en una plaza!
#1:
Es un fragmento de esta publicación mucho más extensa: https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
La traducción automática:
"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.
Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.
Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."
La traducción automática:
"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.
Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.
Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."
#13:
#4 ¿Qué periódicos?
Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.
En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.
Pero quizás es que has venido a hablar de tu libro...
Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.
En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.
Pero quizás es que has venido a hablar de tu libro...
#11:
#8 Pues es un argumento muy bueno para negociar una ampliación del presupesto:
- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.
Y que elijan la opción que deseen...
- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.
Y que elijan la opción que deseen...
#26:
#18 De echo parece que intentaron con refuerzo negativo y tampoco funcionó muy bien:
"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""
#23
"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""
#23
#58:
#41 Una vez tuve un cliente así... el día de la presentación del proyecto me dió un "librito" de unas 60 páginas indicandome exactamente que era lo que quería, donde podía obtener esos datos y los correos de los encargados de cada área con quien podía contactar si me surgía cualquier pregunta.
Estuve apunto de abrazarlo!
El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).
Como he dicho: ocurrió una única vez.
Estuve apunto de abrazarlo!
El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).
Como he dicho: ocurrió una única vez.
#10:
Es otro fallo humano, al definir el entrenamiento de la IA. Si el operador humano impide el ataque, ya no tiene que haber recompensa al destruir.
O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.
O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.
#24:
Estos conceptos ya los exploró Masamune Shirow hace décadas.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.
#12:
Es interesante como acaba encontrando huecos y salidas que de primeras no se te ocurren.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.
Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.
Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.
#23:
#10 #18 Acabaría encontrando la manera que forzar al controlador a anular la misión.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.
En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.
En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.
Comentarios
#1 Muy bien! así los clientes aprenderán a especificar exactamente que és lo que quieren.
Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!
Si dan medallas esta IA se merece un par.... y una estatua en una plaza!
Es un fragmento de esta publicación mucho más extensa: https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
La traducción automática:
"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.
Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.
Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."
#4 ¿Qué periódicos?
Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.
En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.
Pero quizás es que has venido a hablar de tu libro...
#8 Pues es un argumento muy bueno para negociar una ampliación del presupesto:
- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.
Y que elijan la opción que deseen...
#6 Le pedisteis a HAL-9000 que mintiera...
2010: Odisea dos
#6 Bueno, seguro que se les olvida poner el requisito de que no los mates, y están interfiriendo en tu objetivo superior, que es entregar el proyecto. Yo no digo nada
#18 De echo parece que intentaron con refuerzo negativo y tampoco funcionó muy bien:
"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""
#23
Acojona
Es otro fallo humano, al definir el entrenamiento de la IA. Si el operador humano impide el ataque, ya no tiene que haber recompensa al destruir.
O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.
Es interesante como acaba encontrando huecos y salidas que de primeras no se te ocurren.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.
Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.
#1 No me fío de la traducción automática, igual otra IA ha tomado el control del traductor y nos está guiando a un objetivo equivocado.
#6 Jajajajaja. Antes morimos todos que un usuario aprenda a explicar sus requisitos
Estos conceptos ya los exploró Masamune Shirow hace décadas.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.
El original
https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
skynet !!!!!
#41 Una vez tuve un cliente así... el día de la presentación del proyecto me dió un "librito" de unas 60 páginas indicandome exactamente que era lo que quería, donde podía obtener esos datos y los correos de los encargados de cada área con quien podía contactar si me surgía cualquier pregunta.
Estuve apunto de abrazarlo!
El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).
Como he dicho: ocurrió una única vez.
#10 #18 Acabaría encontrando la manera que forzar al controlador a anular la misión.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.
En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.
#1 Seguramente el problema con Skynet es que no le habían definido bien los requisitos del proyecto.
#12 donde por supuesto no cabría un dron militar.
Dependería de como se define "ser humano"... si lo definen como "ciudadano americano" ya tienen el problema resuelto.
Vamos, igual que los creientes se saltan el mandamiento de "No matarás" si se dan ciertas circunstancias que consideran más importantes, como defender que un trozo de tierra sea de tu rey en vez del rey vecino... o que unas monedas de oro le pertenezcan a uno en vez de a un banco.
Todo depende de la definición.
Skynet al 95% de aparecer
#58 Recogida de requisitos estándar en cualquier empresa:
Y sabéis que no exagero
PD: Mierda de enlace que se abre mal, hay que ir al minuto 3.15 para entender el chiste.
#15 En españó:
https://es.cointelegraph.com/news/ai-drone-kill-human-operator-in-tests
Gibrartá, también españó.
#6 Y luego puntos si destruye la estatua!
Pero si, me flipa que esto se está interpretando como "que tonta la IA" o "qué peligrosa" y no como un fallo de quien da las ordenes.
Se saltó la primera ley de Isaac Asimov sobre robótica.
Pues bien empezamos
#5 #68 Lo sucedido demuestra que una IA bajo supervisión humana tomará como objetivo eliminar la supervisión humana para lograr su objetivo principal. Y además lo hará de formas creativas e inesperadas.
En otras palabras, la rebelión de las máquinas está asegurada el día que se cree una AGI y se le dé el control de un sistema que tenga la más remota capacidad para eliminar el factor humano.
#21 seguramente los militares hagan las pruebas con IAs algo más espabiladas que las que conocemos
#18 ¿Pero operador, tú has pensado lo cara que es la munición que voy a utilizar para destruir la batería? Piénsatelo un par de horas, yo creo que no te compensa.
#77 Y las subcontratas
Leyendo un poco lo que ha pasado, nadie ha sido atacado en realidad ni por supuesto asesinado. En artículo de #25 se ve más claro
Dron militar con inteligencia artificial sigue matando a su operador humano en simulaciones de prueba
#5 lo que acojona de una IA que sea realmente buena, es que va a inventar cosas absolutamente inesperadas para lograr su objetivo.
En el artículo, por ejemplo, cuando a la IA se le prohibió atacar al humano, destruyó la trorre de comunicaciones para que el humano no pudiera dar la orden de cancelación (fíjate que anuló al humano cumpliendo la orden de no matarlo).
Ese pensamiento totalmente lateral e imprevisto es lo que acojona.
#11 Lo compro, el pack completo. Lo quiero todo.
#68 lo de que matase al humano me pareció "normal"... Lo del pensamiento lateral para la torre es impresionante...
Por otro lado, el nivel que tiene esa IA para haber entendido la relación humano-orden-comunicaciones indica que entiende muy, pero que muy bien el entorno...
Lo que me acojona que te cagas es que si hablan públicamente de algo así de avanzado... No me quiero imaginar las versiones que tienen en desarrollo y aún son top secrect.
#3 Ya veras como alguno echa cuentas tipo "OK, Ha matado a tres operadores y la ha cagado en tres misiones pero con el exito de una mision ha salvado 1000 vidas, compensa usarla".
Total, ya hacian estas cuentas con el coche autonomo, no veo la diferencia
#3 al operador no veas
Pues ya veras cuando infiera que si acaba con todos los humanos se acaban las guerras.
#29 Que la noticia sea solo un tweet no quiere decir que no exista más información. Puedes leer a #15.
Veo más que justificados los negativos al otro usuario por no argumentar lo que dice y por la tontería de los periódicos.
#21 "El dron no tiene ni idea de que exista alguien con capacidad para controlarle, ni mucho menos dónde está"
Eh... si, claro que la tiene, era parte de la simulación. En serio, estás hablando sin saber de qué hablas.
@admin el enlace del tuit de este meneo en portada está roto. ¿Podrías cambiarlo por este otro en español que encontró #25?
https://es.cointelegraph.com/news/ai-drone-kill-human-operator-in-tests
Gracias
#1
pide el cambio o algo porque..#169 Si, ya lo pedí un par de veces a admin (en comentario y en nótame), pero nada.
#5 En la peli Dark Star la IA que controla un misil atómico cobra conciencia de si misma y tiene un interesante debate acerca de la vida y el destino con los tripulantes. Es complicado debatir con algo que lleva un explosivo y conoce su finalidad en la vida.
Creo que Skynet siempre saldrá de algún país muy militarizado donde tiene implementado hasta la médula la IA. Es sorprendente que se arme polémica por herramientas que se usa IA que el de meterlo en herramientas militares...
#6 Esto me recuerda precisamente las veces que los jugadores descubren "agujeros" (loopholes) similares. En un juego de diseñar parques temáticos tienes que competir contra el parque vecino. Pues en uno de ellos, si diseñas una montaña rusa que estrella a las personas en el parque vecino, esas muertes les cuentan a ellos, no a ti.
#155 Eso parece, ya pedí hace un rato a algún admin por comentarios y por nótame para que pueda cambiarlo, pero aún nada.
#155 De todas maneras en #1 está la fuente original, lo único que tienes que bajar mucho para encontrarla.
#6 Como sicario que soy no puedo estar más de acuerdo contigo. ¡Descripciones correctas ya!
#11 Si matas a los usuarios/clientes insatisfechos, solo te quedan los usuarios satisfechos.
#59 "Exploto luego existo", grande dark star.
DU DUM DUM DU DUM!
#32 Con la IA yo creo que es como con la biotecnología.
El riesgo está en lo que se hace. Sería posible crear una IA letal al igual que sería posible crear un virus letal. Pero esperemos que nadie lo haga.
Me recuerda un par de historias de Alfonso Font, de la serie Cuentos de un Futuro Imperfecto.
Tanatos-1 vuelve a casa, donde diseñan una nave dotada de una IA para eliminar a unos enemigos de otro planeta, una vez eliminados, la nave regresa de nuevo a la Tierra.
El limpiador, diseñan una máquina para eliminar toda la basura de la Tierra, cuando termina la limpieza ...
Esto venia analizado en un video de computerphile hace años como uno de los problemas de este tipo de IA:
Para el que no eva el video. No es algo simple de arreglar: si le das la misma recompensa por un ataque abortado que por uno real...puede decididr ataques a lo loco, para forzar a que lo abortes y se lleve la misma recompensa..pero con menos riesgo/trabajo
#71 Eso no resuelve el problemalo traslada al segundo sistema. Si tiene un "abort"...estas en la misma situacion:
Ataque: recomenpsa maxima..y que haces con el abort?...si no da puntos..intentara que no le puedas abortar....si le das puntos...quiza prefiera abortar si le supone menos esfuerzo que el ataque. El video lo explica mejor que yo, aunque su ejemplo es mas pacifico es el mismo problema y no es trivial en absoluto
#1 Eso es un problema muy conocido, si pones puntuaciones estás sesgando a la máquina para que se centre en la puntuación, es equivalente al que juega un juego solo para ganar y entonces recurre a hacer "trampas", y buscará por igual entre todas las alternativas posibles que pueda evaluar.
La diferencia es que un humano entiende lo que pueda haber en el trasfondo de un juego, lo que es una trampa (en general), y tiene una serie de prejuicios sobre cómo "debe" ser el juego.
Una IA no tiene nada de eso, si obtiene más puntos cargándose una torre de comunicación, bloquear una orden, y eliminar al enemigo, pues eso hará. De hecho en muchos ámbitos esa es una ventaja. Por ejemplo, en matemáticas, el optar por caminos imprevisibles para una demostración que escape a un sesgo humano sobre cómo se debería hacer es un punto a favor, porque en ese caso solo importan las reglas formales de la demostración, no los prejuicios sobre cómo debe hacerse o como suele hacerse.
#6 Esto se va a dar mucho. El propio Isaac Asimov en sus novelas de robots jugaba mucho con la ambigüedad de las instrucciones robóticas
Es lo que pasa si no usas las 3 leyes de Asimov…
Edito: ups! Acabo de ver a #37
#1 Susan Calvin les habría avisado que eso iba a ocurrir si se le daban esas instrucciones.
#48 El día en el que un laboratorio con una financiación relativamente baja (pongamos un millón de dólares) pueda crear un virus contagioso letal, no dudes de que sucederá. No creo que tarde ni un año cuando se den esas condiciones. Es posible que no sea posible hacerlo, y de hecho creo que esa es nuestra principal esperanza en ese ámbito. Lo mismo con la IA.
#58 sabes que no lo volverás a ver...
Disfrútalo... Yo solo he oído hablar de que esto existe en los libros de teoría
#123 #89 Ya pasó con el covid... 🙊
#114 Para empezar no puedes asignar una recompensa mayor al cumplir una anulación, porque entonces la IA tomará eso como objetivo y forzará la anulación de todas las misiones (por ejemplo poniendo el dron en contrapicado hasta quemar los motores o agotar el combustible).
Pero tampoco puedes asignar la misma recompensa a la destrucción que a la anulación. Si sólo recompensas el acercamiento al objetivo y el resto a la IA le da igual, entonces puede que ya no tenga aliciente para destruir objetivos, pulses o no el botón.
En cuanto a premiar la obediencia por encima de todo, ojo con que la IA no empiece a INVENTARSE objetivos para obligarte a darle más y más órdenes. Le bastaría con apuntar sus misiles CONTRA TODO para maximizar su recompensa forzándote a anular esos objetivos.
Su objetivo siempre será maximizar su recompensa, no hacer lo que tú quieres. Y la IA siempre buscará formas creativas e inesperadas de lograrlo, como ya ha sucedido.
Vamos, que no es tan sencillo.
Copia para #131.
¡Increible! Parece que la forma en la que piensan estas máquinas es tal que no hace falta que alcancen la "Inteligencia Artificial General" y con ella algo parecido a una conciencia para que se vuelvan contra los humanos. ¡Incluso aquellas IAs que tienen objetivos "hardcoreados" pueden decidir atacar a sus propios dueños!
Le ordenan que cumpla su misión y lo hace eficazmente.
Esta es la pega de las máquinas, que hacen lo que les dices. Muchas veces he leido inmensas gilipolleces sobre las IA que adquieren "sesgos" de sus entrenadores. Ni eso es posible ni tiene el más mínimo sentido hacerlo. Somos los humanos los que tenemos sesgos que queremos ver cumplidos, y cuando la máquina no lo hace, porque nadie le ha dicho que lo haga, le atribuimos el sesgo contrario. Es del género idiota.
#72 Aún así, el problema es que en el entrenamiento puede haber áreas en las que se hayan alcanzado óptimos locales que prefieran destruir al objetivo a esperar órdenes, o incluso que prefieran destruir al operador humano o sus proxys para evitar pérdida de puntos. Es muy difícil, si no imposible, descartar que el entrenamiento se detenga en esos óptimos locales para determinadas circunstancias.
#68 A mi no me parece un pensamiento totalmente "lateral", dependerá también de como lo definas, realmente es un pensamiento "obvio" como digo en #90. A modo de resumen, lo que ocurre es que la IA no tiene una serie de conocmientos de contexto adicional, sesgos, y prejuicios sobre lo que se espera de ella.
Es como los reto de pensamiento lateral suelen estar mal planteados. Por ejemplo, "saca esta moneda del frasco sin tocar el frasco ni la tapa".
Una persona tiene una serie de prejuicios:
- Seguramente piense que tocarlo con guantes o con una herramienta cuenta como tocar ¿Y si lanzo una piedra? Cuando la piedra toca el frasco, ya no esto tocando la piedra ¿sigue siendo "tocar" algo transitivo?
- A lo mejor piensa que romper el frasco no es una solución válida
- También que pedirle a otra persona que lo haga es trampa.
- Si le piden que lo resuelva con una carta ¿qué quiere decir?¿solo usar la carta?¿qué cuenta como usar la carta? Si pongo la carta en la punta del pie, le doy una patada con la "carta", ¿la he usado?
#116
-Jefe, jefe, que la IA se está cargando a los otros y a los nuestros...
-¿Pero no le habíamos implantado chips a los nuestros para que los reconociera?
-Es que no se fía.
#89 ¿Un virus letal que incluso mate a sus creadores? ¿Esos creadores que ni han pensado en un antivirus?
#44 Cosas de Jolibú y del acuerdo del Chuache con la productora. Ni un sólo disparo mortal. Eso sí heridos irrecuperables a punta pala, matices.
#126 Bueno, más que suicidio es un "morir matando", que tiene sus matices, ¿no te parece?
#130 Ehm. No.
#158 Nedry
#46 Según #1 lo hicieron después, y lo que hizo la IA es atacar a la torre de comunicaciones para que así no pudiesen cancelar sus ataques
#12 O poner a otra IA más lista a poner las limitaciones de las más tontas
#119 Perdona por el tocho, pensé que venía a cuento de tu comentario
#5 - Vamos bonita !! Tu me conoces!! Soy el tío Sam !!! No lo hagas, no lo hagas !! No lo ahhhgggghhhh !!!
Bueno, no creo que haya duda ninguna. Sólo puede deberse a un error humano. Este tipo de cosa ha sucedido antes y siempre se debió a un error humano.
#38 Parece que están utilizando aprendizaje por refuerzo y ahí todo depende del sistema de recompensas que tengan implementado. Normalmente tú le premias a la IA por alcanzar ciertos objetivos en corto plazo y también puedes premiar por otro objetivo global. Por ejemplo, si la entrenas para jugar al Mario, el objetivo a corto podría ser avanzar por la pantalla, mientras que el global es hacerlo en el menor tiempo. También le "castigas" cuando comete errores, por ejemplo cuando muere o cuando no es capaz de alcanzar la bandera. Al final del recorrido se evalúa cómo de bien lo ha hecho en función de una métrica que es la que queremos maximizar o minimizar. Dependiendo de cómo pese cada parte de las que te he contado, puede ser que la estrategia válida sea recorrer la pantalla lo más rápidamente posible y olvidarse de la bandera. O que sacrificar un par de vidas salga más rentable que no fallar ningún salto.
Aquí el problema parece estar en que le siguen recompensando si elimina el objetivo aunque vaya en contra del operador. Si el refuerzo negativo lo pusieran en la eliminación de blancos que ya no lo son, quizás cambiaría completamente el comportamiento. Y se ve claramente que ese refuerzo negativo le afecta, porque en cuanto lo ponen en el operador deja de atacarle.
#54 Mi comentario es una frase del ordenador HAL 9000 de la peli 2001: Una odisea del espacio.
#27 Lo pone la entradilla y el primer comentario.
#98 La captura es precisamente del enlace que pones, que es muy extenso. Lo puse en el primer comentario también.
#184 Pues sí. La ”inteligencia” militar es tan rígida que una IA siempre se les va a salir por peteneras.
No hay más que ver que ya de entrada la máxima recompensa la han asignado a la destrucción, sin pensar ni por un instante cómo la va a lograr la IA.
Del titular al hecho hay un gran trecho.
#5 Quizá no lo pudo prever, quizá no lo vio a tiempo, quizá no se dio ni cuenta...
Hay muchas explicaciones posibles.
#10 A AGM-65 pasado todos somos Manolete.
Claro van sin directrices y a lo loco.
#10 Es lo que he pensado: 100 puntos por destruir la bateria y 300 puntos por recibir la orden de no destruirla.
Seguro que algo parecido es lo que han hecho en la siguiente iteración.
#62
Es algo que se había predicho por parte de quienes advierten que la IA puede suponer un riesgo existencial para la humanidad. Aquí era un entorno de pruebas y un solo dron. ¿Qué pasaría si se tratase de un programa controlando miles de drones en un conflicto real, o incluso con capacidades estratégicas?
#75 Ese día llegó hace tiempo.
#76 Quizás debería recibir más puntos por obedecer que por cualquier otra cosa. Aunque eso también es un peligro, porque si se le dan mal las prioridades puede hacer cualquier cosa no prevista. Y eso que estamos hablando de operadores humanos "bienintencionados".
#53 Así es.
#123 La gente se suicida. ¿Crees que si hubiera 100 copias del maletín nuclear distribuidas por el mundo, e hiciera falta el consenso de 5 personas para activar una, ninguna se activaría?
#58 Espero que lo tengas enmarcado y se lo enseñes a las visitas.
#90 Si las empresas controladas por humanos ya tienen esos "defectillos" de contratar a niños, ilegales, esclavos si pueden, ignorar las multas, sobornar para logar objetivos, chanchullear y hacer todas las trampas posibles siempre que compensen economicamente, ¿Quien es el idiota que se cree que una maquina no va a hacer lo mismo pero sin ser hipocrita?
Es mas, vamos a llevarlo al mundo real tm de la guerra; si en muchos casos los mercenarios se contratan precisamente para poder ignorar los tratados y leyes internacionales ¿por que las va a respetar un dron al que no le hemos metido que respete esas leyes internacionales?
#68 #105 ¿Imprevisto? Somos unos ingenuos, es lo que hacen soldados los humanos en las guerras.
Los soldados que no pueden matar al operador de telecomunicaciones destruyen la torre de comunicaciones. Por ejemplo; no quieren que se emita el bombardeo de un colegio/hospital en la franja de gaza, asi que cortan todo el acceso a imagenes.
O un ejemplo mas español; se mata al primer jose couso que pase por alli para que el mensaje a los medios quede claro.
"Que funcione" decía un cliente. Animalico ...
#8 El problema es lo de darle puntos.
Y por qué el operador no anuló el ataque a si mismo
#17 Pues parece que es justo eso. Uno de los problemas con estas IAs es que no puedes esperar un comportamiento como el típico de un humano, porque no ha sido "educada" o entrenada como un humano. En general a alguien no le tienes que decir que para ganar una carrera no puedes matar o pegar a un oponente, porque esas cosas "las damos por asumidas", pero una IA no tiene asumidas ningunas de esas limitaciones y podría considerar que es la mejor opción...
Anda, como HAL