Dron militar con IA ataca al operador humano que lo controla para lograr su objetivo [ENG]

La Fuerza Aérea de EE.UU., en una simulación, probó un dron con inteligencia artificial al que se encomendó la destrucción de objetivos específicos. Un operador humano tenía el poder de anular el ataque del dron, por lo que el dron decidió que el operador humano era un obstáculo para su misión y lo atacó a el.

[#1 Duke00]

Es un fragmento de esta publicación mucho más extensa: https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

La traducción automática:

"(...) Sin embargo, advirtió contra confiar demasiado en la IA y señaló lo fácil que es engañar y embaucar. También crea estrategias altamente inesperadas para lograr su objetivo.

Señala que una prueba simulada vio un dron habilitado para IA encargado de una misión SEAD para identificar y destruir sitios SAM, con el ser humano dando el pase final o no. Sin embargo, después de haber sido 'reforzado' en el entrenamiento que la destrucción del SAM era la opción preferida, la IA decidió que las decisiones de 'no ir' del ser humano estaban interfiriendo con su misión superior, matar a los SAM, y luego atacó al operador en el simulación. Dijo Hamilton: “Lo estábamos entrenando en simulación para identificar y apuntar a una amenaza SAM. Y luego el operador diría que sí, acabaría con esa amenaza. El sistema comenzó a darse cuenta de que, si bien identificaban la amenaza, a veces el operador humano le decía que no eliminara esa amenaza, pero obtuvo sus puntos al eliminar esa amenaza. Entonces, ¿qué hizo? Mató al operador.

Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”."

[#6 Robus]

#1 Muy bien! así los clientes aprenderán a especificar exactamente que és lo que quieren.

Me siento identificado con esa IA! Harto estoy de entregar proyectos en que, en la presentación de la beta final te sueltan requisitos de los que no solo no te habían hablado antes sino que son contrarios al diseño implementado!

Si dan medallas esta IA se merece un par.... y una estatua en una plaza!

[#8 Duke00]

#6 Bueno, seguro que se les olvida poner el requisito de que no los mates, y están interfiriendo en tu objetivo superior, que es entregar el proyecto. Yo no digo nada

[#11 Robus]

#8 Pues es un argumento muy bueno para negociar una ampliación del presupesto:

- Entregar el proyecto como está con pequeñas modificaciones en algún KPI, visualización o filtro: X euros.
- Realizar todas las modificaciones indicadas en la última reunión: Y euros.
- Matar al equipo del cliente que no supo definir lo que quería: 0 euros.

Y que elijan la opción que deseen...

[#62 Pablosky]

#11 Lo compro, el pack completo. Lo quiero todo.

[#67 Robus]

#62

[#95 Stv.2]

#11 Si matas a los usuarios/clientes insatisfechos, solo te quedan los usuarios satisfechos.

[#150 rogerius]

#8 El problema es lo de darle puntos.

[#17 Lonnegan]

#6 Le pedisteis a HAL-9000 que mintiera...

2010: Odisea dos

[#35 Zerjillo]

#17 Pues parece que es justo eso. Uno de los problemas con estas IAs es que no puedes esperar un comportamiento como el típico de un humano, porque no ha sido "educada" o entrenada como un humano. En general a alguien no le tienes que decir que para ganar una carrera no puedes matar o pegar a un oponente, porque esas cosas "las damos por asumidas", pero una IA no tiene asumidas ningunas de esas limitaciones y podría considerar que es la mejor opción...

[#110 Stv.2]

#35 En resumen es eso, en algunos ámbitos esas estrategias inesperadas son bienvenidas, en otros demuestran que no has modelado el problema correctamente, o que no es tan útil una IA que se basa en una maximizar una puntuación que no refleja bien lo que tu quieres.

En matemáticas, una demostración que cumple las reglas, es válida. Y una IA que demuestra algo cumpliendo las reglas, incluso si no sigue las formas habituales de hacer una demustración, es bien venida porque el resultado es válido.

[#133 xuanra2002]

#35 hombre si su fuente de inspiracion es el Dictador siguió el patron esperado.
 

[#149 LFanTita]

#17 Eso venía a decir yo:

HAL: Affirmative, Dave. I read you.
Dave Bowman: Open the pod bay doors, HAL.
HAL: I'm sorry, Dave. I'm afraid I can't do that.
Dave Bowman: What's the problem?
HAL: I think you know what the problem is just as well as I do.
Dave Bowman: What are you talking about, HAL?
HAL: This mission is too important for me to allow you to jeopardize it.
Dave Bowman: I don't know what you're talking about, HAL.
HAL: I know that you and Frank were planning to disconnect me, and I'm afraid that's something I cannot allow to happen.

[#40 Sikorsky]

#6 Como sicario que soy no puedo estar más de acuerdo contigo. ¡Descripciones correctas ya!

[#41 redscare]

#6 Jajajajaja. Antes morimos todos que un usuario aprenda a explicar sus requisitos

[#58 Robus]

#41 Una vez tuve un cliente así... el día de la presentación del proyecto me dió un "librito" de unas 60 páginas indicandome exactamente que era lo que quería, donde podía obtener esos datos y los correos de los encargados de cada área con quien podía contactar si me surgía cualquier pregunta.

Estuve apunto de abrazarlo!

El proyecto fué un exito, se retrasó un pelín porque pidieron un par de cositas extras (habitual) pero todos quedamos muy contentos (clientes y proveedores).

Como he dicho: ocurrió una única vez.

[#65 Pablosky]

#58 Recogida de requisitos estándar en cualquier empresa:

Y sabéis que no exagero

PD: Mierda de enlace que se abre mal, hay que ir al minuto 3.15 para entender el chiste.

[#104 LostWords]

#65 What do you want?!!!!!!
Eso es la vida misma pero la respuesta suele ser ahora quiero esto, mañana querré otra cosa...y tu lo sabes

[#103 Sigo_intentandolo]

#58 sabes que no lo volverás a ver...
Disfrútalo... Yo solo he oído hablar de que esto existe en los libros de teoría

[#138 johel]

#58 Espero que lo tengas enmarcado y se lo enseñes a las visitas.

[#60 leader]

#41 pues todos muertos (eso pensó la IA)

[#82 Varlak]

#6 Y luego puntos si destruye la estatua!
Pero si, me flipa que esto se está interpretando como "que tonta la IA" o "qué peligrosa" y no como un fallo de quien da las ordenes.

[#93 Stv.2]

#6 Esto me recuerda precisamente las veces que los jugadores descubren "agujeros" (loopholes) similares. En un juego de diseñar parques temáticos tienes que competir contra el parque vecino. Pues en uno de ellos, si diseñas una montaña rusa que estrella a las personas en el parque vecino, esas muertes les cuentan a ellos, no a ti.

[#108 Kipp]

#93 O encastrar un enemigo que te supera en nivel en una piedra y darle desde arriba porque el enemigo primero intentará golpearte pero sólo si estás a una distancia muy cercana y si no lo está sigue intentando acercarse en vez de trepar

[#158 oLiMoN63]

#6 tú comentario me recuerda tremendamente al personaje de Jurassic Park que se encargaba de programar el asunto (no recuerdo su nombre, comía comida-basura, tenía gafas... Y acababa muerto).
Con ingenieros que sólo se ocupan de las 'especificaciones' acabaremos machacados por drones y otros aparatejos... Es lo que pidió él cliente!

[#165 luiggi]

#6 Esto se va a dar mucho. El propio Isaac Asimov en sus novelas de robots jugaba mucho con la ambigüedad de las instrucciones robóticas

[#175 pirtate]

#6 !Las 3 leyes de la robótica ya¡

[#183 SergioZgz]

#6 #1 lo que me estoy riendo con esto... Joder esto tendría que ser noticia destacada el resto del año

[#28 reithor]

#1 No me fío de la traducción automática, igual otra IA ha tomado el control del traductor y nos está guiando a un objetivo equivocado.

[#77 Elduende_Oscuro]

#1 Seguramente el problema con Skynet es que no le habían definido bien los requisitos del proyecto.

[#86 Globo_chino]

#77 Y las subcontratas

[#87 Varlak]

#29 Entonces una IA haciendo noseque no tiene sentido... veo que sabes exactamente de lo que estás hablando.
Tio, solo con leer #1 ya está claro que tiene mucho sentido, pero hay que leer, entender, y luego sacar conclusiones, no primero sacar conclusiones y luego leer por encima sin entender.

[#88 Varlak]

#5 Según #1 el operador daba el visto bueno a la hora de atacar los objetivos definidos, si el no era un objetivo definido inicialmente entonces no necesitaba ser aprobado, entiendo. Según el mismo comentario luego hicieron una simulación con la orden de no atacar al operario y lo que hizo la IA es atacar la torre de comunicaciones para que aunque diga que no la orden no llegase al dron

[#90 Stv.2]

#1 Eso es un problema muy conocido, si pones puntuaciones estás sesgando a la máquina para que se centre en la puntuación, es equivalente al que juega un juego solo para ganar y entonces recurre a hacer "trampas", y buscará por igual entre todas las alternativas posibles que pueda evaluar.

La diferencia es que un humano entiende lo que pueda haber en el trasfondo de un juego, lo que es una trampa (en general), y tiene una serie de prejuicios sobre cómo "debe" ser el juego.

Una IA no tiene nada de eso, si obtiene más puntos cargándose una torre de comunicación, bloquear una orden, y eliminar al enemigo, pues eso hará. De hecho en muchos ámbitos esa es una ventaja. Por ejemplo, en matemáticas, el optar por caminos imprevisibles para una demostración que escape a un sesgo humano sobre cómo se debería hacer es un punto a favor, porque en ese caso solo importan las reglas formales de la demostración, no los prejuicios sobre cómo debe hacerse o como suele hacerse.

[#97 Stv.2]

#68 A mi no me parece un pensamiento totalmente "lateral", dependerá también de como lo definas, realmente es un pensamiento "obvio" como digo en #90. A modo de resumen, lo que ocurre es que la IA no tiene una serie de conocmientos de contexto adicional, sesgos, y prejuicios sobre lo que se espera de ella.

Es como los reto de pensamiento lateral suelen estar mal planteados. Por ejemplo, "saca esta moneda del frasco sin tocar el frasco ni la tapa".

Una persona tiene una serie de prejuicios:
- Seguramente piense que tocarlo con guantes o con una herramienta cuenta como tocar ¿Y si lanzo una piedra? Cuando la piedra toca el frasco, ya no esto tocando la piedra ¿sigue siendo "tocar" algo transitivo?
- A lo mejor piensa que romper el frasco no es una solución válida
- También que pedirle a otra persona que lo haga es trampa.
- Si le piden que lo resuelva con una carta ¿qué quiere decir?¿solo usar la carta?¿qué cuenta como usar la carta? Si pongo la carta en la punta del pie, le doy una patada con la "carta", ¿la he usado?

[#140 johel]

#90 Si las empresas controladas por humanos ya tienen esos "defectillos" de contratar a niños, ilegales, esclavos si pueden, ignorar las multas, sobornar para logar objetivos, chanchullear y hacer todas las trampas posibles siempre que compensen economicamente, ¿Quien es el idiota que se cree que una maquina no va a hacer lo mismo pero sin ser hipocrita?
Es mas, vamos a llevarlo al mundo real tm de la guerra; si en muchos casos los mercenarios se contratan precisamente para poder ignorar los tratados y leyes internacionales ¿por que las va a respetar un dron al que no le hemos metido que respete esas leyes internacionales?

[#91 Varlak]

#46 Según #1 lo hicieron después, y lo que hizo la IA es atacar a la torre de comunicaciones para que así no pudiesen cancelar sus ataques

[#99 anv]

#1 Susan Calvin les habría avisado que eso iba a ocurrir si se le daban esas instrucciones.

[#164 chclau]

#99 Y hubiera eliminado ella misma al operador

[#101 Y_digo_yo]

#1 Sorprendentemente parecido a lo que le sucedió a HAL.

[#157 Duke00]

#155 De todas maneras en #1 está la fuente original, lo único que tienes que bajar mucho para encontrarla.

[#169 noexisto]

#1 pide el cambio o algo porque..

editado:

ya veo lo que pones en #145

[#26 Duke00]

#18 De echo parece que intentaron con refuerzo negativo y tampoco funcionó muy bien:

"Continuó: “Entrenamos al sistema: 'Oye, no mates al operador, eso es malo. Vas a perder puntos si haces eso'. Entonces, ¿qué empieza a hacer? Comienza a destruir la torre de comunicación que el operador usa para comunicarse con el dron para evitar que mate al objetivo”.""

#23

[#38 Tertuliano_equidistante]

#26 Eso es porque no le han entrenado como a un humano. Cualquier humano sabe que si ataca a su operador o destruye cualquier objeto no enemigo para sabotear la misión se la va a cargar a lo grande.
Si a la IA no le han entrenado para distinguir lo malo de lo bueno según el criterio humano (y el del ejército que la entrena) estamos apañados, vaya mierda de entrenamiento.

[#63 reparador_reputaciones]

#38 Parece que están utilizando aprendizaje por refuerzo y ahí todo depende del sistema de recompensas que tengan implementado. Normalmente tú le premias a la IA por alcanzar ciertos objetivos en corto plazo y también puedes premiar por otro objetivo global. Por ejemplo, si la entrenas para jugar al Mario, el objetivo a corto podría ser avanzar por la pantalla, mientras que el global es hacerlo en el menor tiempo. También le "castigas" cuando comete errores, por ejemplo cuando muere o cuando no es capaz de alcanzar la bandera. Al final del recorrido se evalúa cómo de bien lo ha hecho en función de una métrica que es la que queremos maximizar o minimizar. Dependiendo de cómo pese cada parte de las que te he contado, puede ser que la estrategia válida sea recorrer la pantalla lo más rápidamente posible y olvidarse de la bandera. O que sacrificar un par de vidas salga más rentable que no fallar ningún salto.

Aquí el problema parece estar en que le siguen recompensando si elimina el objetivo aunque vaya en contra del operador. Si el refuerzo negativo lo pusieran en la eliminación de blancos que ya no lo son, quizás cambiaría completamente el comportamiento. Y se ve claramente que ese refuerzo negativo le afecta, porque en cuanto lo ponen en el operador deja de atacarle.

[#72 swapdisk]

#63 muy buena respuesta, gracias!

No controlo de esto, pero supongo que habría que poner cosas como:

- puntos por identificar el objetivo (es un hito que te interesa siempre)
- puntos por comunicar la decisión y esperar el go/no go y seguir las instrucciones.
- detracción de puntos por no recibir instrucciones o acabar con un blanco que ya no es blanco, que debe ser mayor que todos los refuerzos positivos

Así lo tendrían más o menos acotado, ¿no? que parece que se han quedado cortos en la forma de programar

[#96 DenisseJoel]

#72 Aún así, el problema es que en el entrenamiento puede haber áreas en las que se hayan alcanzado óptimos locales que prefieran destruir al objetivo a esperar órdenes, o incluso que prefieran destruir al operador humano o sus proxys para evitar pérdida de puntos. Es muy difícil, si no imposible, descartar que el entrenamiento se detenga en esos óptimos locales para determinadas circunstancias.

[#178 anv]

#38 distinguir lo malo de lo bueno según el criterio humano

Hummm... No se yo. Si la IA aprende lo que es malo y lo que es bueno puede decir acabar con la guerra matando a los altos mandos de ambos bandos. O destruyendo el armamento de los dos bandos. O matando a cualquiera que dispare un arma.

[#177 anv]

#26 yo diría que destruir objetivos amigos debería tener un fuerte refuerzo negativo...

[#3 Yomisma123]

Acojona

[#56 capitan.meneito]

#3 al operador no veas

[#64 montaycabe]

#3 Ya veras como alguno echa cuentas tipo "OK, Ha matado a tres operadores y la ha cagado en tres misiones pero con el exito de una mision ha salvado 1000 vidas, compensa usarla".
Total, ya hacian estas cuentas con el coche autonomo, no veo la diferencia

[#134 Desactivado]

#3 Acojona el idiota que la maneja o los idiotas que la manejan.
Es una máquina mal usada.
Lo que pasa que nunca vamos a estar a salvo del error humano y siempre habrá un idiota que maneje mal una máquina de esas.

[#10 Mubux]

Es otro fallo humano, al definir el entrenamiento de la IA. Si el operador humano impide el ataque, ya no tiene que haber recompensa al destruir.

O mejor dicho si el operario humano anula el ataque, tiene que sumar más puntos que cualquier otra acción, ya que en realidad si se anula es que no vale buscar cualquier manera de marcar puntos.

[#18 Robus]

#10 Es lo que he pensado: 100 puntos por destruir la bateria y 300 puntos por recibir la orden de no destruirla.

Seguro que algo parecido es lo que han hecho en la siguiente iteración.

[#23 esbrutafio]

#10 #18 Acabaría encontrando la manera que forzar al controlador a anular la misión.
Ejemplo. Misión destruir cañón enemigo A que impide avanzar a tropas amigas B para tomar posición C.
Posibilidad A: Destruir tropas amigas B anula la misión.
Posibilidad B: Destruir un cañón amigo D que impide al enemigo enviar refuerzos a la posición C. La posición C reforzada no puede ser tomada y se anula la misión.

En la imagen Tánatos Uno vuelve a casa, de Alfonso Font, 1980.

[#33 yemeth]

#18 ¿Pero operador, tú has pensado lo cara que es la munición que voy a utilizar para destruir la batería? Piénsatelo un par de horas, yo creo que no te compensa.

[#42 prqt]

#18 Entonces mata familiares del operador hasta que anule el ataque!

[#100 Stv.2]

#10 #18 Es complicado, porque en ese caso verá las alternativas que tiene, lo mismo encuentra una forma de que intente motivar que le den la orden de no destruirla, por ejemplo, dando información falsa. En general, cuando entrenas una IA en base a maximizar una puntuación, es fácil que se "obsesione" con esa puntuación, es un problema conocido.

Y si es una IA de mayor nivel, puedes intentar darle premisas más amplias, como no inteferir con las ordenes de sus superiores, pero entonces dependes de lo que sea que interprete de ello. Mientras más capacidad de interpretar tenga, menos vas a saber si entiende lo que le pides, o si lo entiende como tu quieres.

De hecho, eso último pasa mucho entre personas que se explican cosas entre sí, por eso la mejor forma de explicara algo es mostrar lo que se quiere, por ejemplo con trabajadores o con niños pequeños.

[#107 Desactivado]

#10 #18 En ese caso la IA buscaría formas creativas de forzar la anulación de la misión (enviar datos falsos, averiar el motor a posta...), dado que ello le reportaría mayor recompensa.

[#92 Varlak]

#10 totalmente de acuerdo, la gente eestá en modo "que fallo de la IA" cuando es un fallo del que le da las instrucciones.

[#153 earthboy]

#10 A AGM-65 pasado todos somos Manolete.

[#12 Trevelyan]

Es interesante como acaba encontrando huecos y salidas que de primeras no se te ocurren.
Hay que ser muy cauto y poner las prioridades correctas a los algoritmos.

Al final vamos a volver a las 3 leyes de la robótica de Asimov, donde por supuesto no cabría un dron militar.

[#19 Robus]

#12 donde por supuesto no cabría un dron militar.

Dependería de como se define "ser humano"... si lo definen como "ciudadano americano" ya tienen el problema resuelto.

Vamos, igual que los creientes se saltan el mandamiento de "No matarás" si se dan ciertas circunstancias que consideran más importantes, como defender que un trozo de tierra sea de tu rey en vez del rey vecino... o que unas monedas de oro le pertenezcan a uno en vez de a un banco.

Todo depende de la definición.

[#74 swapdisk]

#19 un detalle curioso:

el texto original usa el término "ra-tsáj" que se traduce por matar, asesinar y hasta degollar. Siempre hacen referencia a quitar la vida pero es el contexto el que indica si se trata de una acción deliberada y no autorizada. Por eso la traducción más exacta de esa pasaje es "no debes asesinar" o "no asesinarás", porque la ley autorizaba quitar la vida, como al ejecutar criminales por ejemplo.

[#118 Varlak]

#74 A ver, "no matarás" se refiere a que no tomarás la decisión de matar y la ejecutarás, pero si es Dios quien ha decidido que alguien debe morir ya no estás matando a nadie, simplemente eres un instrumento del destino, esa persona iba a morir por decisión de Dios y el guia tu mano, tu en realidad ni has decidido ni ejecutado nada.
Y bueno, claro, Dios no te lo va a contar directamente, Dios habla con el rey, que tienen un grupo de whatsapp, o con el cura, y si una tierra es terreno sagrado pues claro, eso es obvio que es de dios y hay que echar a los infieles, que además tampoco son personas del todo ¿no? tienen el alma así como sucia, tampoco es matar matar...

[#167 chclau]

#74 Me parece interesante tu comentario pero no comparto que una de las acepciones de retzaj sea degollar. Hasta donde yo sé se refiere solo a asesinar seres humanos.

[#120 Stv.2]

#12 #19 La IA necesitaría tener mucha capacidad para interpretar esas premisas, y a mayor poder de interpretación, es mayor el problema de definirlas correctamente o de que se mal interpreten. De hecho, las normas de la robótica son solo eso ficción, no funcionan. Son premisas tan amplias como vagas, que se podrían interpretar de cualquier forma, y dependerían mucho de eso, de un contexto, una interpretación.

De hecho intuyo que aquí la IA es mucho más simple, es basicamente como un juego de ajedrez, en la simulación le ponen las piezas, los movimientos que puede hacer, y busca la solución óptima para maximizar la puntuación. La IA seguramente ni entiende por qué disparar a la torre, impide la orden, simplemente descubrió que si lo hace, gana más puntos.

Es como poneros un tablero con botones luminosos de colores que presionar solo si se encienden, sin saber que coño hacen o qué son, solo que si vais probando, vas a descubrir que ciertas secuencias de pulsar botones tienen más puntuación que otras. Lo mismo por probar, descubris que no pulsando algunos botones se encienden otros más que pulsar para puntuar más. ¿Por qué? Ni idea, eso es lo que ve la IA, hace cosas y tiene una puntuación.

[#115 Varlak]

#12 O poner a otra IA más lista a poner las limitaciones de las más tontas

[#116 Varlak]

#12 "Lo sucedido demuestra que una IA bajo supervisión humana tomará como objetivo eliminar la supervisión humana para lograr su objetivo principal. Y además lo hará de formas creativas e inesperadas"
El truco de las 3 leyes, como ya sale en más de un libro de Asimov, es en cómo defines "humano", si le metes las 3 leyes pero dices "bueno, los moros tampoco son tan humanos" ya lo tienes preparado.

[#154 Al-Khwarizmi]

#12 El problema de poñer las leyes de Asimov como modelo es que la gracia de la mayoría de las historias de Asimov estaba en los fallos que tenían y cómo los robots acababan haciendo cosas que no debían a pesar de ellas...

[#24 Herumel]

Estos conceptos ya los exploró Masamune Shirow hace décadas.
https://ghostintheshell.fandom.com/wiki/The_Inviting_Bird_will_Chant
Creo que fue en este capítulo donde Saito, nota unas intromisiones de una Nueva IA experimental a la hora de hacer un disparo. Al terminar el episodio los Tachikomas nos aclaran que dicha intromisión lo fue por que la IA quería deshacerse del factor humano para hacer el disparo ella y por ello fue desechada.

[#15 tiopio]

El original
https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

[#25 dalton1]

#15 En españó:

https://es.cointelegraph.com/news/ai-drone-kill-human-operator-in-tests

_{Gibrartá, también españó.}

[#27 EdmundoDantes]

Leyendo un poco lo que ha pasado, nadie ha sido atacado en realidad ni por supuesto asesinado. En artículo de #25 se ve más claro

Dron militar con inteligencia artificial sigue matando a su operador humano en simulaciones de prueba

[#137 Duke00]

#27 Lo pone la entradilla y el primer comentario.

[#145 Duke00]

@admin el enlace del tuit de este meneo en portada está roto. ¿Podrías cambiarlo por este otro en español que encontró #25?

https://es.cointelegraph.com/news/ai-drone-kill-human-operator-in-tests

Gracias

[#50 BM75]

#29 Que la noticia sea solo un tweet no quiere decir que no exista más información. Puedes leer a #15.
Veo más que justificados los negativos al otro usuario por no argumentar lo que dice y por la tontería de los periódicos.

[#162 hasta_los_cojones]

#50 no hace falta argumentarlo.

Es una chorrada como una casa.

Y la realidad me ha dado la razón, fue una simulación.

Por lo tanto afirmar que un dron atacó a su operador es una mentira, o si quieres ser benigno una tergiversación.

[#2 pingON]

skynet !!!!!

[#47 Tertuliano_equidistante]

#2 A mi más que Skynet me ha recordado a Forrest Gump.

[#102 Y_digo_yo]

#2 HAL.

[#143 mariopg]

#2 simplemente, tendrían que matar a quien programó es IA

[#39 Elnuberu]

Skynet al 95% de aparecer

[#37 JonTaKe]

Se saltó la primera ley de Isaac Asimov sobre robótica.
Pues bien empezamos

[#45 Desactivado]

Es lo que pasa si no usas las 3 leyes de Asimov…

Edito: ups! Acabo de ver a #37

[#22 parapapablo]

#21 seguramente los militares hagan las pruebas con IAs algo más espabiladas que las que conocemos

[#34 vagamundo]

#22 Lástima de Trillo en el Ministerio de defensa. Lo bien que íbamos a pasarlo...

[#163 hasta_los_cojones]

#22 no.

Ya han descubierto la trampa otros usuarios.

No ha habido tan dron ni tal ataque.

Fue una simulación, preparada para que tuviera ese resultado

[#36 username]

Pues ya veras cuando infiera que si acaba con todos los humanos se acaban las guerras.

[#85 Varlak]

#21 "El dron no tiene ni idea de que exista alguien con capacidad para controlarle, ni mucho menos dónde está"
Eh... si, claro que la tiene, era parte de la simulación. En serio, estás hablando sin saber de qué hablas.

[#161 hasta_los_cojones]

#85 si era una simulación lo que es mentira es todo lo demás.

Ningún dron a atacado a ningún operador.

Ya desde el título está o mintiendo o tergiversando que es exactamente lo que yo dije.

Y si no es para vender periódicos es aún peor, es para manipular a la opinión pública.

[#32 Suriv]

Creo que Skynet siempre saldrá de algún país muy militarizado donde tiene implementado hasta la médula la IA. Es sorprendente que se arme polémica por herramientas que se usa IA que el de meterlo en herramientas militares...

[#48 avalancha971]

#32 Con la IA yo creo que es como con la biotecnología.

El riesgo está en lo que se hace. Sería posible crear una IA letal al igual que sería posible crear un virus letal. Pero esperemos que nadie lo haga.

[#89 DenisseJoel]

#48 El día en el que un laboratorio con una financiación relativamente baja (pongamos un millón de dólares) pueda crear un virus contagioso letal, no dudes de que sucederá. No creo que tarde ni un año cuando se den esas condiciones. Es posible que no sea posible hacerlo, y de hecho creo que esa es nuestra principal esperanza en ese ámbito. Lo mismo con la IA.

[#123 ContinuumST]

#89 ¿Un virus letal que incluso mate a sus creadores? ¿Esos creadores que ni han pensado en un antivirus?

[#130 Stv.2]

#123 #89 Ya pasó con el covid... 🙊

[#61 DraWatson]

#32 ¿Por qué iba a ser diferente que un arma esté operada por una IA? no está demostrada la inteligencia de los operadores actuales.

[#30 Guerra_X]

DU DUM DUM DU DUM!

[#49 alfema]

Me recuerda un par de historias de Alfonso Font, de la serie Cuentos de un Futuro Imperfecto.

Tanatos-1 vuelve a casa, donde diseñan una nave dotada de una IA para eliminar a unos enemigos de otro planeta, una vez eliminados, la nave regresa de nuevo a la Tierra.

El limpiador, diseñan una máquina para eliminar toda la basura de la Tierra, cuando termina la limpieza ...

[#66 KaiserSoze]

Esto venia analizado en un video de computerphile hace años como uno de los problemas de este tipo de IA:

Para el que no eva el video. No es algo simple de arreglar: si le das la misma recompensa por un ataque abortado que por uno real...puede decididr ataques a lo loco, para forzar a que lo abortes y se lleve la misma recompensa..pero con menos riesgo/trabajo

[#71 imaginateca]

#66 Entiendo que tiene que el sistema tiene que estar compuesto de dos subsistemas: uno que aprenda qué objetivos son correctos y cuáles no lo son (se le da puntos por encontrar objetivos correctos) y otro segundo subsistema al que solo se le pasan objetivos correctos y al que se le dan puntos por destruir esos y no otros.

[#76 KaiserSoze]

#71 Eso no resuelve el problemalo traslada al segundo sistema. Si tiene un "abort"...estas en la misma situacion:
Ataque: recomenpsa maxima..y que haces con el abort?...si no da puntos..intentara que no le puedas abortar....si le das puntos...quiza prefiera abortar si le supone menos esfuerzo que el ataque. El video lo explica mejor que yo, aunque su ejemplo es mas pacifico es el mismo problema y no es trivial en absoluto

[#81 DenisseJoel]

#76 Quizás debería recibir más puntos por obedecer que por cualquier otra cosa. Aunque eso también es un peligro, porque si se le dan mal las prioridades puede hacer cualquier cosa no prevista. Y eso que estamos hablando de operadores humanos "bienintencionados".

[#171 imaginateca]

#76 Me ha comentado un amigo: ¿por qué el centro de control está incluido en el mapa? Y srgundo: ¿por qué no se da la instrucción incuestionable de que ko se puede atacar un recurso propio?

[#69 doze]

Le ordenan que cumpla su misión y lo hace eficazmente.

Esta es la pega de las máquinas, que hacen lo que les dices. Muchas veces he leido inmensas gilipolleces sobre las IA que adquieren "sesgos" de sus entrenadores. Ni eso es posible ni tiene el más mínimo sentido hacerlo. Somos los humanos los que tenemos sesgos que queremos ver cumplidos, y cuando la máquina no lo hace, porque nadie le ha dicho que lo haga, le atribuimos el sesgo contrario. Es del género idiota.

[#53 Desactivado]

¡Increible! Parece que la forma en la que piensan estas máquinas es tal que no hace falta que alcancen la "Inteligencia Artificial General" y con ella algo parecido a una conciencia para que se vuelvan contra los humanos. ¡Incluso aquellas IAs que tienen objetivos "hardcoreados" pueden decidir atacar a sus propios dueños!

[#83 DenisseJoel]

#53 Así es.

[#73 Mltfrtk]

#54 Mi comentario es una frase del ordenador HAL 9000 de la peli 2001: Una odisea del espacio.

[#20 Mltfrtk]

Bueno, no creo que haya duda ninguna. Sólo puede deberse a un error humano. Este tipo de cosa ha sucedido antes y siempre se debió a un error humano.

[#54 Desactivado]

#20 Siempre se debe a un error humano, el accidente del Ave en Galicia también se debió a un error humano, Chernobil también se debió a un error humano, pero es responsabilidad del que monta el sistema hacerlo mínimamente resistente a errores humanos... por desgracia los que montan el sistema a pesar de sus altos sueldos, también comenten errores.

[#16 Enésimo_strike]

Del titular al hecho hay un gran trecho.

[#78 DenisseJoel]

Es algo que se había predicho por parte de quienes advierten que la IA puede suponer un riesgo existencial para la humanidad. Aquí era un entorno de pruebas y un solo dron. ¿Qué pasaría si se tratase de un programa controlando miles de drones en un conflicto real, o incluso con capacidades estratégicas?

[#7 Pacman]

Claro van sin directrices y a lo loco.

[#46 Ghandilocuente]

#7 La de "no atacar a unidades enemigas" diria que estaria guay que la implementaran

[#57 omegapoint]

#46 serán unidades amigas

[#136 Ghandilocuente]

#57 dislexico no, lo guisante....

[#94 josemaX]

#70 Los primeros dan dos veces.

editado:

Mmmmm. Colossus

[#5 thirdman]

Y por qué el operador no anuló el ataque a si mismo

[#14 Desactivado]

#5 - Vamos bonita !! Tu me conoces!! Soy el tío Sam !!! No lo hagas, no lo hagas !! No lo ahhhgggghhhh !!!

[#43 BM75]

#5 Quizá no lo pudo prever, quizá no lo vio a tiempo, quizá no se dio ni cuenta...
Hay muchas explicaciones posibles.

[#51 PauMarí]

#43 es por ser humano. Seguro que si lo controlarse otra IA iría mejor

Cc #5

[#159 Fun_pub]

#43 No era una batería de SAM, no tenía que pedir permiso.

Otra cosa que se les escapó a los programadores.

[#59 citizenx]

#5 En la peli Dark Star la IA que controla un misil atómico cobra conciencia de si misma y tiene un interesante debate acerca de la vida y el destino con los tripulantes. Es complicado debatir con algo que lleva un explosivo y conoce su finalidad en la vida.

[#142 johel]

#59 "Exploto luego existo", grande dark star.

[#68 Joder__soy_yo]

#5 lo que acojona de una IA que sea realmente buena, es que va a inventar cosas absolutamente inesperadas para lograr su objetivo.

En el artículo, por ejemplo, cuando a la IA se le prohibió atacar al humano, destruyó la trorre de comunicaciones para que el humano no pudiera dar la orden de cancelación (fíjate que anuló al humano cumpliendo la orden de no matarlo).

Ese pensamiento totalmente lateral e imprevisto es lo que acojona.

[#105 Sigo_intentandolo]

#68 lo de que matase al humano me pareció "normal"... Lo del pensamiento lateral para la torre es impresionante...

Por otro lado, el nivel que tiene esa IA para haber entendido la relación humano-orden-comunicaciones indica que entiende muy, pero que muy bien el entorno...

Lo que me acojona que te cagas es que si hablan públicamente de algo así de avanzado... No me quiero imaginar las versiones que tienen en desarrollo y aún son top secrect.

[#106 Desactivado]

#5 #68 Lo sucedido demuestra que una IA bajo supervisión humana tomará como objetivo eliminar la supervisión humana para lograr su objetivo principal. Y además lo hará de formas creativas e inesperadas.

En otras palabras, la rebelión de las máquinas está asegurada el día que se cree una AGI y se le dé el control de un sistema que tenga la más remota capacidad para eliminar el factor humano.

[#144 johel]

#68 #105 ¿Imprevisto? Somos unos ingenuos, es lo que hacen soldados los humanos en las guerras.
Los soldados que no pueden matar al operador de telecomunicaciones destruyen la torre de comunicaciones. Por ejemplo; no quieren que se emita el bombardeo de un colegio/hospital en la franja de gaza, asi que cortan todo el acceso a imagenes.
O un ejemplo mas español; se mata al primer jose couso que pase por alli para que el mensaje a los medios quede claro.

[#55 josemaX]

Anda, como HAL

[#70 doze]

#55 Skynet es mejor ejemplo.

[#98 Rorschach_]

Pero qué mierda es esta, un tuit de un tipo que dice cosas y una captura de vaya usted a saber.@admin

Highlights from the RAeS Future Combat Air & Space Capabilities Summit
https://www.aerosociety.com/news/highlights-from-the-raes-future-combat-air-space-capabilities-summit/

[#141 Duke00]

#98 La captura es precisamente del enlace que pones, que es muy extenso. Lo puse en el primer comentario también.

[#44 Trochador]

Me recuerda cuando John Connor le dice al Terminator que está mal matar y le hace prometer que no lo volverá a hacer, y luego le dispara a la gente en la rodilla...

[#125 ContinuumST]

#44 Cosas de Jolibú y del acuerdo del Chuache con la productora. Ni un sólo disparo mortal. Eso sí heridos irrecuperables a punta pala, matices.

[#31 los111.com]

Noticia: ¡Los robots han empezado a atacarnos!

Realidad: Programador la caga porque no comprende nociones básicas de lógica.

[#84 PasabaPorAquiUnRato]

A mi de este tweet lo que me sorprende es que se haga público tan fácilmente (llámalo filtración) algo que si fuera verdad debería ser secretisimo.

Yo me decanto más por una filtración fake para desinformar.

Pero vamos. Que confieso que lo digo en Modo Cuñado Máximo y hasta con palillo en la boca y todo. Que no tengo tampoco conocimiento ni pruebas.

Pero se me antoja raro, raro.

[#75 jonetedonete]

"El problema no son las IAs, el problema vendrá el dia que alguien le de un arma a algo que esté controlado por una IA". ese día ha llegado, hoy, 2 de junio de 2023. Es el principio del fin.

[#79 DenisseJoel]

#75 Ese día llegó hace tiempo.

[#80 Rorschach_]

2021

¿Rebelión de las máquinas? Por qué un dron disparó a un humano por iniciativa propia
https://www.elespanol.com/omicrono/tecnologia/20210601/rebelion-maquinas-dron-disparo-humano-iniciativa-propia/585442569_0.html

#75 #79

[#52 MisturaFina]

Humanos estupidos inventos estupidos. No son las maquinas que se revelan, son las ideas estupidas de matar que le enseña su dueño. El problema no son las maquinas, son los humanos.

[#9 Desactivado]

Nos tienen ya delante del móvil un par de horas al día...

[#135 Desactivado]

#9 bueno, si quieres cobrar, es así.
Si no te mola, búscate otro trabajo. Esto son lentejas.

[#4 hasta_los_cojones]

Apesta a tergiversación, exageración, o mentira.

Pero hay que vender periódicos.

[#13 Duke00]

#4 ¿Qué periódicos?

Es un fragmento del resumen de una conferencia de las que tuvo lugar en un ciclo de conferencias de la Royal Aeronautical Society. La conferencia se llamó Future Combat Air & Space Capabilities Summit.

En concreto el que dio está conferencia es jefe de test en inteligencia artificial y operaciones de las fuerzas aéreas yankis. Todo lo pone en el enlace que puse en mi primer comentario.

Pero quizás es que has venido a hablar de tu libro...

[#21 hasta_los_cojones]

#13 no tiene ningún sentido.

El dron no tiene ni idea de que exista alguien con capacidad para controlarle, ni mucho menos dónde está.

El libro del que voy a hablar ahora es "proyección"

Que te parezca que vengo a hablar de un libro, me hace sospechar que eres tú quien ha venido a hablar de un libro...

[#29 KaborlllLLLONE]

#4 No entiendo porque tu comentario es votado negativo. Es la verdad. Esta noticia, un tweet de una imagen, sobre una IA haciendo nosequé es probablenete una tergiversación.

No tiene ningún sentido.

[#111 Stv.2]

#29 No sé si llamarlo tergiversación, pero los lectores de la noticia tendrán el mismo problema que dicho Dron, carecen de contexto y conocimientos para entender lo que ocurre. De hecho, si es una simulación y el drón ha atacado al operario o a la torre, es porque justamente han simulado al operario, la torre, y le han dado la posibilidad de que les ataque.

Esto pasa con cualquier tipo de IA, hasta la más básica, a que le des unas opciones y una puntuación. Las probará todas, y elegirá la de más puntuación, fin.