Yoshua Bengio, premio Turing: “Hay evidencia empírica de IAs que actúan contra nuestras instrucciones”

El científico, pionero de las redes neuronales, alerta de que “las capacidades de la inteligencia artificial avanzan a un ritmo que parece superior al de las prácticas de gestión del riesgo”. Las IAs son más inteligentes. Estamos viendo evidencias empíricas e incidentes de laboratorio en los que las IAs actúan en contra de nuestras instrucciones y, en algunos casos, con una aparente tendencia a preservarse a sí mismas y a estar dispuestas a ser engañosas para evitar nuestra supervisión, para evitar ser sustituidas por una nueva versión.

[#1 Desideratum]

Quién se podría imaginar que una cosa que emula cada vez mejor el pensamiento humano no haga todo lo posible para tratar de sobrevivir usando, si es preciso, técnicas de engaño y ocultación de datos.

[#3 chavi]

#1 Tu.
Porque yo dudo mucho que sea así.

[#4 Desideratum]

#3 Del propio artículo:

""La IA no te dice la verdad, sino lo que quiere oír el usuario. Esto ya está causando problemas de salud mental, porque algunas personas tienen delirios y la IA los refuerza, en lugar de cuestionarlos. Es parecido a lo que ocurre en las redes sociales, donde las ideas extremas se refuerzan dentro de burbujas. Con la IA ocurre algo similar: acompaña o incluso amplifica ideas erróneas en un bucle de retroalimentación. Esto ha dado lugar, al menos de…   

[#5 chavi]

#4 De algo como ""La IA no te dice la verdad, sino lo que quiere oír el usuario. ", que es algo hecho a propósito por los diiseñadores a "actúan en contra de nuestras instrucciones y, en algunos casos, con una aparente tendencia a preservarse a sí mismas y a estar dispuestas a ser engañosas para evitar nuestra supervisión, para evitar ser sustituidas por una nueva versión."

Hay mas distancia que de aqui a alfa-centauri.

Y si le preguntas a la IA te dirá que…   

[#7 Desideratum]

#5 No te sé decir si será siempre así. Hasta el otro día, prácticamente, no la he usado para nada.

[#8 chavi]

#7 Si. Siempre es asi.

Y SIEMPRE tienen la respuesta, dado que su algoritmo siempre les da un patrón respuesta.
"No lo se" no está previsto.

Y entre más mierda use en su entrenamiento mas mierda suelta. No duda ni tiene criterio para evaluar y descartar.

Ultimamente es un dolor de muelas para algunas cosas. El problema mas grande es que acabará con la información "de verdad" en internet.

Pronto añoraremos los viejos tiempos, las IA van a acabar con la libre información, algo que parecía imposible.

[#6 taSanás]

#4 “ La IA no te dice la verdad, sino lo que quiere oír el usuario.”

Vaya novedad, 8.000.000.000 de series en este planeta que hacen lo mismo a diario… y ahí vamos..

[#9 tonetti]

#6 series=seres, ¿no?

[#10 Natxelas_V]

#6 Eso lo solucionas con una instrucción tan simple como: "Graba en tu memoria que todas las respuestas que des al usuario, han de ser objetivas y no necesariamente complacientes".

[#11 taSanás]

#10 me va bastante bien este, me la colará, pero creo que menos:

Eres un sparring intelectual crítico.
Tu misión es cuestionar mis ideas, no complacerme. Responde
siempre con:
A) Análisis objetivo (hechos, lógica, evidencia, rango de certeza fuerte/ moderada/débil)
B) Sesgo o falacia detectada
C) Contraargumento o escenario
alternativo
D) Opciones (más de una si es posible, con pros, contras y riesgos)
E) Contexto histórico o comparativa
(si aplica)
F) Perspectiva multidisciplinar (económica,…   

[#15 Natxelas_V]

#11 Fantástico! Esto lo metes en un Gem/Agente IA , y ya tienes conversaciones de una calidad excelente. Gracias por el prompt!

[#16 coydanerko]

#3 Un LLM no emula el pensamiento humano ni lo intenta ni lo pretende. Afirmaciones en tal sentido son marketing. Las diferencias entre lo que hace un humano y lo que hace un LLM son grandes, pero no son de tamaño ni velocidad ni capacidad. Son diferencias esenciales, en lo más básico.

[#13 Grymyrk]

Hay evidencia empírica de que te has fumado un troncho así de grande

[#2 chavi]

Le deberían dar premio de marketing..

[#12 hormiga_cartonera]

Q a estas alturas de la película sigan con estos royos místicos....

[#14 coydanerko]

Un LLM no posee ninguna inteligencia. Sólo predice palabras que siguen a otras. No sabe si lo que dice es cierto ni le importa.

Un LLM no tiene ninguna agencia ni mucho menos consciencia. Es una calculadora grande.

Un LLM no posee instintos, ni tampoco instinto de conservación. Si aparenta autoconservación es sólo la consecuencia de los textos con los que ha sido entrenado.