Portada
mis comunidades
otras secciones
#6:
#1 Muy bien! así los clientes aprenderán a especificar exactamente que és lo que quieren.
Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!
Si dan medallas esta IA se merece un par.... y una estatua en una plaza!
Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!
Si dan medallas esta IA se merece un par.... y una estatua en una plaza!
#1:
Es un fragmento de esta publicación mucho más extensa: https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
La traducción automática:
"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.
Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.
Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."
La traducción automática:
"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.
Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.
Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."
#13:
#4 ¿Qué periódicos?
Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.
En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.
Pero quizás es que has venido a hablar de tu libro...
Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.
En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.
Pero quizás es que has venido a hablar de tu libro...
#11:
#8 Pues es un argumento muy bueno para negociar una ampliación del presupesto:
- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.
Y que elijan la opción que deseen...
- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.
Y que elijan la opción que deseen...
#26:
#18 De echo parece que intentaron con refuerzo negativo y tampoco funcionó muy bien:
"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""
#23
"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""
#23
#58:
#41 Una vez tuve un cliente así... el día de la presentación del proyecto me dió un "librito" de unas 60 páginas indicandome exactamente que era lo que quería, donde podía obtener esos datos y los correos de los encargados de cada área con quien podía contactar si me surgía cualquier pregunta.
Estuve apunto de abrazarlo!
El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).
Como he dicho: ocurrió una única vez.
Estuve apunto de abrazarlo!
El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).
Como he dicho: ocurrió una única vez.
#10:
Es otro fallo humano, al definir el entrenamiento de la IA. Si el operador humano impide el ataque, ya no tiene que haber recompensa al destruir.
O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.
O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.
#24:
Estos conceptos ya los exploró Masamune Shirow hace décadas.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.
#12:
Es interesante como acaba encontrando huecos y salidas que de primeras no se te ocurren.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.
Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.
Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.
#23:
#10 #18 Acabaría encontrando la manera que forzar al controlador a anular la misión.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.
En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.
En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.
Comentarios
Es un fragmento de esta publicación mucho más extensa: https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
La traducción automática:
"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.
Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.
Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."
skynet !!!!!
Acojona
Apesta a tergiversación, exageración, o mentira.
Pero hay que vender periódicos.
Y por qué el operador no anuló el ataque a si mismo
#1 Muy bien! así los clientes aprenderán a especificar exactamente que és lo que quieren.
Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!
Si dan medallas esta IA se merece un par.... y una estatua en una plaza!
Claro van sin directrices y a lo loco.
#6 Bueno, seguro que se les olvida poner el requisito de que no los mates, y están interfiriendo en tu objetivo superior, que es entregar el proyecto. Yo no digo nada
Nos tienen ya delante del móvil un par de horas al día...
Es otro fallo humano, al definir el entrenamiento de la IA. Si el operador humano impide el ataque, ya no tiene que haber recompensa al destruir.
O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.
#8 Pues es un argumento muy bueno para negociar una ampliación del presupesto:
- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.
Y que elijan la opción que deseen...
Es interesante como acaba encontrando huecos y salidas que de primeras no se te ocurren.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.
Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.
#4 ¿Qué periódicos?
Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.
En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.
Pero quizás es que has venido a hablar de tu libro...
#5 - Vamos bonita !! Tu me conoces!! Soy el tío Sam !!! No lo hagas, no lo hagas !! No lo ahhhgggghhhh !!!
El original
https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
Del titular al hecho hay un gran trecho.
#6 Le pedisteis a HAL-9000 que mintiera...
2010: Odisea dos
#10 Es lo que he pensado: 100 puntos por destruir la bateria y 300 puntos por recibir la orden de no destruirla.
Seguro que algo parecido es lo que han hecho en la siguiente iteración.
#12 donde por supuesto no cabría un dron militar.
Dependería de como se define "ser humano"... si lo definen como "ciudadano americano" ya tienen el problema resuelto.
Vamos, igual que los creientes se saltan el mandamiento de "No matarás" si se dan ciertas circunstancias que consideran más importantes, como defender que un trozo de tierra sea de tu rey en vez del rey vecino... o que unas monedas de oro le pertenezcan a uno en vez de a un banco.
Todo depende de la definición.
Bueno, no creo que haya duda ninguna. Sólo puede deberse a un error humano. Este tipo de cosa ha sucedido antes y siempre se debió a un error humano.
#13 no tiene ningún sentido.
El dron no tiene ni idea de que exista alguien con capacidad para controlarle, ni mucho menos dónde está.
El libro del que voy a hablar ahora es "proyección"
Que te parezca que vengo a hablar de un libro, me hace sospechar que eres tú quien ha venido a hablar de un libro...
#21 seguramente los militares hagan las pruebas con IAs algo más espabiladas que las que conocemos
#10 #18 Acabaría encontrando la manera que forzar al controlador a anular la misión.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.
En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.
Estos conceptos ya los exploró Masamune Shirow hace décadas.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.
#15 En españó:
https://es.cointelegraph.com/news/ai-drone-kill-human-operator-in-tests
Gibrartá, también españó.
#18 De echo parece que intentaron con refuerzo negativo y tampoco funcionó muy bien:
"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""
#23
Leyendo un poco lo que ha pasado, nadie ha sido atacado en realidad ni por supuesto asesinado. En artículo de #25 se ve más claro
Dron militar con inteligencia artificial sigue matando a su operador humano en simulaciones de prueba
#1 No me fío de la traducción automática, igual otra IA ha tomado el control del traductor y nos está guiando a un objetivo equivocado.
#4 No entiendo porque tu comentario es votado negativo. Es la verdad. Esta noticia, un tweet de una imagen, sobre una IA haciendo nosequé es probablenete una tergiversación.
No tiene ningún sentido.
DU DUM DUM DU DUM!
Noticia: ¡Los robots han empezado a atacarnos!
Realidad: Programador la caga porque no comprende nociones básicas de lógica.
Creo que Skynet siempre saldrá de algún país muy militarizado donde tiene implementado hasta la médula la IA. Es sorprendente que se arme polémica por herramientas que se usa IA que el de meterlo en herramientas militares...
#18 ¿Pero operador, tú has pensado lo cara que es la munición que voy a utilizar para destruir la batería? Piénsatelo un par de horas, yo creo que no te compensa.
#22 Lástima de Trillo en el Ministerio de defensa. Lo bien que íbamos a pasarlo...
#17 Pues parece que es justo eso. Uno de los problemas con estas IAs es que no puedes esperar un comportamiento como el típico de un humano, porque no ha sido "educada" o entrenada como un humano. En general a alguien no le tienes que decir que para ganar una carrera no puedes matar o pegar a un oponente, porque esas cosas "las damos por asumidas", pero una IA no tiene asumidas ningunas de esas limitaciones y podría considerar que es la mejor opción...
Pues ya veras cuando infiera que si acaba con todos los humanos se acaban las guerras.
Se saltó la primera ley de Isaac Asimov sobre robótica.
Pues bien empezamos
#26 Eso es porque no le han entrenado como a un humano. Cualquier humano sabe que si ataca a su operador o destruye cualquier objeto no enemigo para sabotear la misión se la va a cargar a lo grande.
Si a la IA no le han entrenado para distinguir lo malo de lo bueno según el criterio humano (y el del ejército que la entrena) estamos apañados, vaya mierda de entrenamiento.
Skynet al 95% de aparecer
#6 Como sicario que soy no puedo estar más de acuerdo contigo. ¡Descripciones correctas ya!
#6 Jajajajaja. Antes morimos todos que un usuario aprenda a explicar sus requisitos
#18 Entonces mata familiares del operador hasta que anule el ataque!
#5 Quizá no lo pudo prever, quizá no lo vio a tiempo, quizá no se dio ni cuenta...
Hay muchas explicaciones posibles.
Me recuerda cuando John Connor le dice al Terminator que está mal matar y le hace prometer que no lo volverá a hacer, y luego le dispara a la gente en la rodilla...
Es lo que pasa si no usas las 3 leyes de Asimov…
Edito: ups! Acabo de ver a #37
#7 La de "no atacar a unidades enemigas" diria que estaria guay que la implementaran
#2 A mi más que Skynet me ha recordado a Forrest Gump.
#32 Con la IA yo creo que es como con la biotecnología.
El riesgo está en lo que se hace. Sería posible crear una IA letal al igual que sería posible crear un virus letal. Pero esperemos que nadie lo haga.
Me recuerda un par de historias de Alfonso Font, de la serie Cuentos de un Futuro Imperfecto.
Tanatos-1 vuelve a casa, donde diseñan una nave dotada de una IA para eliminar a unos enemigos de otro planeta, una vez eliminados, la nave regresa de nuevo a la Tierra.
El limpiador, diseñan una máquina para eliminar toda la basura de la Tierra, cuando termina la limpieza ...
#29 Que la noticia sea solo un tweet no quiere decir que no exista más información. Puedes leer a #15.
Veo más que justificados los negativos al otro usuario por no argumentar lo que dice y por la tontería de los periódicos.
#43 es por ser humano. Seguro que si lo controlarse otra IA iría mejor
Cc #5
Humanos estupidos inventos estupidos. No son las maquinas que se revelan, son las ideas estupidas de matar que le enseña su dueño. El problema no son las maquinas, son los humanos.
¡Increible! Parece que la forma en la que piensan estas máquinas es tal que no hace falta que alcancen la "Inteligencia Artificial General" y con ella algo parecido a una conciencia para que se vuelvan contra los humanos. ¡Incluso aquellas IAs que tienen objetivos "hardcoreados" pueden decidir atacar a sus propios dueños!
#20 Siempre se debe a un error humano, el accidente del Ave en Galicia también se debió a un error humano, Chernobil también se debió a un error humano, pero es responsabilidad del que monta el sistema hacerlo mínimamente resistente a errores humanos... por desgracia los que montan el sistema a pesar de sus altos sueldos, también comenten errores.
Anda, como HAL
#3 al operador no veas
#46 serán unidades amigas
#41 Una vez tuve un cliente así... el día de la presentación del proyecto me dió un "librito" de unas 60 páginas indicandome exactamente que era lo que quería, donde podía obtener esos datos y los correos de los encargados de cada área con quien podía contactar si me surgía cualquier pregunta.
Estuve apunto de abrazarlo!
El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).
Como he dicho: ocurrió una única vez.
#5 En la peli Dark Star la IA que controla un misil atómico cobra conciencia de si misma y tiene un interesante debate acerca de la vida y el destino con los tripulantes. Es complicado debatir con algo que lleva un explosivo y conoce su finalidad en la vida.
#41 pues todos muertos (eso pensó la IA)
#32 ¿Por qué iba a ser diferente que un arma esté operada por una IA? no está demostrada la inteligencia de los operadores actuales.
#11 Lo compro, el pack completo. Lo quiero todo.
#38 Parece que están utilizando aprendizaje por refuerzo y ahí todo depende del sistema de recompensas que tengan implementado. Normalmente tú le premias a la IA por alcanzar ciertos objetivos en corto plazo y también puedes premiar por otro objetivo global. Por ejemplo, si la entrenas para jugar al Mario, el objetivo a corto podría ser avanzar por la pantalla, mientras que el global es hacerlo en el menor tiempo. También le "castigas" cuando comete errores, por ejemplo cuando muere o cuando no es capaz de alcanzar la bandera. Al final del recorrido se evalúa cómo de bien lo ha hecho en función de una métrica que es la que queremos maximizar o minimizar. Dependiendo de cómo pese cada parte de las que te he contado, puede ser que la estrategia válida sea recorrer la pantalla lo más rápidamente posible y olvidarse de la bandera. O que sacrificar un par de vidas salga más rentable que no fallar ningún salto.
Aquí el problema parece estar en que le siguen recompensando si elimina el objetivo aunque vaya en contra del operador. Si el refuerzo negativo lo pusieran en la eliminación de blancos que ya no lo son, quizás cambiaría completamente el comportamiento. Y se ve claramente que ese refuerzo negativo le afecta, porque en cuanto lo ponen en el operador deja de atacarle.
#3 Ya veras como alguno echa cuentas tipo "OK, Ha matado a tres operadores y la ha cagado en tres misiones pero con el exito de una mision ha salvado 1000 vidas, compensa usarla".
Total, ya hacian estas cuentas con el coche autonomo, no veo la diferencia
#58 Recogida de requisitos estándar en cualquier empresa:
Y sabéis que no exagero
PD: Mierda de enlace que se abre mal, hay que ir al minuto 3.15 para entender el chiste.
Esto venia analizado en un video de computerphile hace años como uno de los problemas de este tipo de IA:
Para el que no eva el video. No es algo simple de arreglar: si le das la misma recompensa por un ataque abortado que por uno real...puede decididr ataques a lo loco, para forzar a que lo abortes y se lleve la misma recompensa..pero con menos riesgo/trabajo
#62
#5 lo que acojona de una IA que sea realmente buena, es que va a inventar cosas absolutamente inesperadas para lograr su objetivo.
En el artículo, por ejemplo, cuando a la IA se le prohibió atacar al humano, destruyó la trorre de comunicaciones para que el humano no pudiera dar la orden de cancelación (fíjate que anuló al humano cumpliendo la orden de no matarlo).
Ese pensamiento totalmente lateral e imprevisto es lo que acojona.
Le ordenan que cumpla su misión y lo hace eficazmente.
Esta es la pega de las máquinas, que hacen lo que les dices. Muchas veces he leido inmensas gilipolleces sobre las IA que adquieren "sesgos" de sus entrenadores. Ni eso es posible ni tiene el más mínimo sentido hacerlo. Somos los humanos los que tenemos sesgos que queremos ver cumplidos, y cuando la máquina no lo hace, porque nadie le ha dicho que lo haga, le atribuimos el sesgo contrario. Es del género idiota.
#55 Skynet es mejor ejemplo.
#66 Entiendo que tiene que el sistema tiene que estar compuesto de dos subsistemas: uno que aprenda qué objetivos son correctos y cuáles no lo son (se le da puntos por encontrar objetivos correctos) y otro segundo subsistema al que solo se le pasan objetivos correctos y al que se le dan puntos por destruir esos y no otros.
#63 muy buena respuesta, gracias!
No controlo de esto, pero supongo que habría que poner cosas como:
- puntos por identificar el objetivo (es un hito que te interesa siempre)
- puntos por comunicar la decisión y esperar el go/no go y seguir las instrucciones.
- detracción de puntos por no recibir instrucciones o acabar con un blanco que ya no es blanco, que debe ser mayor que todos los refuerzos positivos
Así lo tendrían más o menos acotado, ¿no? que parece que se han quedado cortos en la forma de programar
#54 Mi comentario es una frase del ordenador HAL 9000 de la peli 2001: Una odisea del espacio.
#19 un detalle curioso:
el texto original usa el término "ra-tsáj" que se traduce por matar, asesinar y hasta degollar. Siempre hacen referencia a quitar la vida pero es el contexto el que indica si se trata de una acción deliberada y no autorizada. Por eso la traducción más exacta de esa pasaje es "no debes asesinar" o "no asesinarás", porque la ley autorizaba quitar la vida, como al ejecutar criminales por ejemplo.
"El problema no son las IAs, el problema vendrá el dia que alguien le de un arma a algo que esté controlado por una IA". ese día ha llegado, hoy, 2 de junio de 2023. Es el principio del fin.
#71 Eso no resuelve el problemalo traslada al segundo sistema. Si tiene un "abort"...estas en la misma situacion:
Ataque: recomenpsa maxima..y que haces con el abort?...si no da puntos..intentara que no le puedas abortar....si le das puntos...quiza prefiera abortar si le supone menos esfuerzo que el ataque. El video lo explica mejor que yo, aunque su ejemplo es mas pacifico es el mismo problema y no es trivial en absoluto
#1 Seguramente el problema con Skynet es que no le habían definido bien los requisitos del proyecto.
Es algo que se había predicho por parte de quienes advierten que la IA puede suponer un riesgo existencial para la humanidad. Aquí era un entorno de pruebas y un solo dron. ¿Qué pasaría si se tratase de un programa controlando miles de drones en un conflicto real, o incluso con capacidades estratégicas?
#75 Ese día llegó hace tiempo.
2021
¿Rebelión de las máquinas? Por qué un dron disparó a un humano por iniciativa propia
https://www.elespanol.com/omicrono/tecnologia/20210601/rebelion-maquinas-dron-disparo-humano-iniciativa-propia/585442569_0.html
#75 #79
#76 Quizás debería recibir más puntos por obedecer que por cualquier otra cosa. Aunque eso también es un peligro, porque si se le dan mal las prioridades puede hacer cualquier cosa no prevista. Y eso que estamos hablando de operadores humanos "bienintencionados".
#6 Y luego puntos si destruye la estatua!
Pero si, me flipa que esto se está interpretando como "que tonta la IA" o "qué peligrosa" y no como un fallo de quien da las ordenes.
#53 Así es.
A mi de este tweet lo que me sorprende es que se haga público tan fácilmente (llámalo filtración) algo que si fuera verdad debería ser secretisimo.
Yo me decanto más por una filtración fake para desinformar.
Pero vamos. Que confieso que lo digo en Modo Cuñado Máximo y hasta con palillo en la boca y todo. Que no tengo tampoco conocimiento ni pruebas.
Pero se me antoja raro, raro.
#21 "El dron no tiene ni idea de que exista alguien con capacidad para controlarle, ni mucho menos dónde está"
Eh... si, claro que la tiene, era parte de la simulación. En serio, estás hablando sin saber de qué hablas.
#77 Y las subcontratas
#29 Entonces una IA haciendo noseque no tiene sentido... veo que sabes exactamente de lo que estás hablando.
Tio, solo con leer #1 ya está claro que tiene mucho sentido, pero hay que leer, entender, y luego sacar conclusiones, no primero sacar conclusiones y luego leer por encima sin entender.
#5 Según #1 el operador daba el visto bueno a la hora de atacar los objetivos definidos, si el no era un objetivo definido inicialmente entonces no necesitaba ser aprobado, entiendo. Según el mismo comentario luego hicieron una simulación con la orden de no atacar al operario y lo que hizo la IA es atacar la torre de comunicaciones para que aunque diga que no la orden no llegase al dron
#48 El día en el que un laboratorio con una financiación relativamente baja (pongamos un millón de dólares) pueda crear un virus contagioso letal, no dudes de que sucederá. No creo que tarde ni un año cuando se den esas condiciones. Es posible que no sea posible hacerlo, y de hecho creo que esa es nuestra principal esperanza en ese ámbito. Lo mismo con la IA.
#1 Eso es un problema muy conocido, si pones puntuaciones estás sesgando a la máquina para que se centre en la puntuación, es equivalente al que juega un juego solo para ganar y entonces recurre a hacer "trampas", y buscará por igual entre todas las alternativas posibles que pueda evaluar.
La diferencia es que un humano entiende lo que pueda haber en el trasfondo de un juego, lo que es una trampa (en general), y tiene una serie de prejuicios sobre cómo "debe" ser el juego.
Una IA no tiene nada de eso, si obtiene más puntos cargándose una torre de comunicación, bloquear una orden, y eliminar al enemigo, pues eso hará. De hecho en muchos ámbitos esa es una ventaja. Por ejemplo, en matemáticas, el optar por caminos imprevisibles para una demostración que escape a un sesgo humano sobre cómo se debería hacer es un punto a favor, porque en ese caso solo importan las reglas formales de la demostración, no los prejuicios sobre cómo debe hacerse o como suele hacerse.
#46 Según #1 lo hicieron después, y lo que hizo la IA es atacar a la torre de comunicaciones para que así no pudiesen cancelar sus ataques
#10 totalmente de acuerdo, la gente eestá en modo "que fallo de la IA" cuando es un fallo del que le da las instrucciones.
#6 Esto me recuerda precisamente las veces que los jugadores descubren "agujeros" (loopholes) similares. En un juego de diseñar parques temáticos tienes que competir contra el parque vecino. Pues en uno de ellos, si diseñas una montaña rusa que estrella a las personas en el parque vecino, esas muertes les cuentan a ellos, no a ti.
#70 Los primeros dan dos veces.
#11 Si matas a los usuarios/clientes insatisfechos, solo te quedan los usuarios satisfechos.
#72 Aún así, el problema es que en el entrenamiento puede haber áreas en las que se hayan alcanzado óptimos locales que prefieran destruir al objetivo a esperar órdenes, o incluso que prefieran destruir al operador humano o sus proxys para evitar pérdida de puntos. Es muy difícil, si no imposible, descartar que el entrenamiento se detenga en esos óptimos locales para determinadas circunstancias.
#68 A mi no me parece un pensamiento totalmente "lateral", dependerá también de como lo definas, realmente es un pensamiento "obvio" como digo en #90. A modo de resumen, lo que ocurre es que la IA no tiene una serie de conocmientos de contexto adicional, sesgos, y prejuicios sobre lo que se espera de ella.
Es como los reto de pensamiento lateral suelen estar mal planteados. Por ejemplo, "saca esta moneda del frasco sin tocar el frasco ni la tapa".
Una persona tiene una serie de prejuicios:
- Seguramente piense que tocarlo con guantes o con una herramienta cuenta como tocar ¿Y si lanzo una piedra? Cuando la piedra toca el frasco, ya no esto tocando la piedra ¿sigue siendo "tocar" algo transitivo?
- A lo mejor piensa que romper el frasco no es una solución válida
- También que pedirle a otra persona que lo haga es trampa.
- Si le piden que lo resuelva con una carta ¿qué quiere decir?¿solo usar la carta?¿qué cuenta como usar la carta? Si pongo la carta en la punta del pie, le doy una patada con la "carta", ¿la he usado?
Pero qué mierda es esta, un tuit de un tipo que dice cosas y una captura de vaya usted a saber.@admin
Highlights from the RAeS Future Combat Air & Space Capabilities Summit
https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/
#1 Susan Calvin les habría avisado que eso iba a ocurrir si se le daban esas instrucciones.
#10 #18 Es complicado, porque en ese caso verá las alternativas que tiene, lo mismo encuentra una forma de que intente motivar que le den la orden de no destruirla, por ejemplo, dando información falsa. En general, cuando entrenas una IA en base a maximizar una puntuación, es fácil que se "obsesione" con esa puntuación, es un problema conocido.
Y si es una IA de mayor nivel, puedes intentar darle premisas más amplias, como no inteferir con las ordenes de sus superiores, pero entonces dependes de lo que sea que interprete de ello. Mientras más capacidad de interpretar tenga, menos vas a saber si entiende lo que le pides, o si lo entiende como tu quieres.
De hecho, eso último pasa mucho entre personas que se explican cosas entre sí, por eso la mejor forma de explicara algo es mostrar lo que se quiere, por ejemplo con trabajadores o con niños pequeños.