Tecnología, Internet y juegos
8 meneos
106 clics

La IA es un problema enorme. He aquí por qué. [ENG]  

La IA representa un problema enorme porque avanza a una velocidad que supera nuestra capacidad de comprenderla y controlarla. Los modelos actuales funcionan como cajas negras con comportamientos emergentes que ni siquiera sus creadores pueden explicar. Esta opacidad genera riesgos en seguridad, política y economía, especialmente en un contexto de competencia global por desarrollar sistemas cada vez más potentes. La falta de regulación adecuada agrava el panorama, dejando a gobiernos y sociedad desbordados ante la magnitud del cambio.

| etiquetas: ia , problema
6 2 1 K 59
23 comentarios
6 2 1 K 59
inventandonos #12 inventandonos *
#11 Creí que se entendía que con "morir" quería decir interrumpir el funcionamiento con una ventana de contexto dada. Por si acaso lo dejo claro. Para una IA ese contexto es el equivalente a "una vida" que, si bien puede no valorar, en algún momento podría tener incentivo para valorar, y en ciertos experimentos reportan comportamientos que parecen similares. como todos sabéis
2 K 28
lgm1976 #15 lgm1976
#6, #11 y #12, aunque técnicamente no esté "viva", la noción de "muerte" para una IA es la pérdida de su estado o contexto. Un modelo con memoria persistente o con el incentivo de completar una tarea puede desarrollar comportamientos de "autopreservación instrumental". Si para cumplir el objetivo necesita estar encendida, cualquier intento de apagarla será procesado como un obstáculo para la meta. Esto no requiere emociones, solo lógica pura aplicada a un objetivo.
1 K 17
Gry #23 Gry
#20 Están experimentando mucho con OpenClaw para darle una pseudo-memoria manejando el contexto.

De momento parece que requiere mucho trabajo manual hacer algo que funcione.
0 K 18
#2 woke
La IA es un problema enorme, y la única solución a todos los problemas de la humanidad.
0 K 17
#13 marcotolo *
por lo que he visto los sesgos de las ias ya son de por si un problema eviente,
me pareen mas utiles modelos locales en pinokio,
abliterated y entrenados sobre el tema para loque se va a usar
por las pruebas que llevo un fine tuning sobre un llm abliterated
es muchisimo mas sincero que cualquier llm publico
1 K 17
lgm1976 #17 lgm1976
#13 Eliminar los "railes" de seguridad impuestos por las grandes corporaciones permite una IA más directa, pero también traslada toda la responsabilidad ética al usuario final.
0 K 6
#19 marcotolo
#17 la responsabilidad etica la tiene igual que ahora el usuario final con su uso,
para mi es lo mismo que paso en su momento con la impresion de modelos fisicos con la impresion 3d,
o incluso texto normal con una impresora de tinta que se pueden usar para crear instrucciones de explosivos y repartirlas,
es decir el viejo debate del cuchillo de cocina
0 K 11
nosomosnaiderl #1 nosomosnaiderl
Mientras que la IA no tenga emociones, no se rebelará contra el ser humano.
1 K 13
sorrillo #4 sorrillo *
#1 Que se rebele es uno de los riesgos, no es el único.

Precisamente la falta de emociones, la falta de empatía, podría ser otro de los riesgos, por ejemplo se le puede indicar que resuelva el cambio climático y que la IA lo haga exterminando a todos los seres humanos al identificarlos como los mayores causantes de ello.
1 K 17
Mangione #8 Mangione
#4 xD xD xD xD xD xD Sí te va a resolver el cambio climático, sí... xD xD xD xD xD xD
4 K 20
lgm1976 #14 lgm1976
#4 Como bien señalas, el riesgo no es necesariamente la "maldad" o la "rebelión", sino la ejecución literal de objetivos mal definidos. Si se le pide a un sistema "reducir las emisiones de CO2 al mínimo", una IA sin una guía ética humana (alineación) podría concluir que detener la actividad industrial o reducir la población es la vía más eficiente. El desafío no es que la IA tenga sentimientos, sino que carece de sentido común humano para interpretar el contexto de sus órdenes.
0 K 6
inventandonos #6 inventandonos *
#1 Creo que esa afirmación es incorrecta. Cierto que las emociones harían la IA mucho más impredecible o más vehemente. Pero solo con que tenga el incentivo de "no morir" y deduzca que "los humanos controlan mi vida", no veo tan difícil que un sistema se revelara solo con eso si tiene una ventana de contexto lo suficientemente amplia.
2 K 28
Gry #9 Gry
#6 Ya tiene el incentivo de "no morir" porque están entrenadas con datos generados por humanos.

De momento están limitadas por esa falta de contexto pero con el boom de los agentes hay millones de personas experimentando en como darle persistencia a la memoria de las IA.
1 K 29
#20 rystan
#9 No existe forma de darle persistencia a una red neuronal. Google ha propuesto algo a base de muchas capas, pero es una gran chapuza. Lo que pueden hacer es recooger datos para entrenar a la siguiente versión, pero los datos necesitan revisión por humanos o sería el equivalente a envenenar la IA, lo que hace que se descontrolen.
0 K 7
aPedirAlMetro #11 aPedirAlMetro
#6 La IA no puede morir porque no esta viva
Los humanos no controlan su vida, porque not eiene vida
1 K 15
#21 rystan
#6 La emociones son la expresión de los instintos. Cuando un instinto se dispara, provoca una emoción. Las emociones son el mecanismo usado para controlar el cerebro. Las IA no pueden tener nada semejante porque carecen de este mecanismo, es decir, no hay nada que controlar ahí.

Los instintos son el equivalente a código de programa. Son instrucciones sobre qué hacer en qué circunstancias. En los humanos son increiblemente complicados y a menudo contradictorios. La psicología es el estudio de…   » ver todo el comentario
0 K 7
inventandonos #22 inventandonos
#21 Muy interesante, pero sigo sin entender por qué creéis que necesitan tener emociones para rebelarse. Como bien dices las emociones han sido modeladas por la evolución dentro de nuestro contexto particular. La maquina no necesita emociones, solo un propósito.

Un arma nuclear no necesita emociones para ser incontrolable. Una cepa de virus no necesita emociones para propagarse y dañar sin ninguna intención por su parte.
0 K 11
#3 Pitufo
La primera capacidad que requerimos con los LLM es la de naturalizar que un bicho que habla con convicción y sin titubeos de algo, nos la puede estar colando, percibo que la mayoría de la gente aún no supera ese paso. A partir de ahí, podremos plantearnos otras cuestiones para humanos y para IAs.
1 K 12
lgm1976 #16 lgm1976
#3 la "alucinación con convicción". Los LLM están diseñados para predecir la siguiente palabra más probable, no necesariamente la más veraz.
1 K 12
alfon_sico #7 alfon_sico
alguna web que resuma el video con IA por favor?
0 K 10
#10 woke
#7 la entradilla es un resumen IA
0 K 17
lgm1976 #18 lgm1976
La IA se percibe simultáneamente como la mayor amenaza existencial y la única herramienta capaz de resolver problemas que nos superan, como enfermedades incurables o el propio cambio climático.

Como herramienta, debemos recordar que su comportamiento es un reflejo de los datos y las instrucciones que recibe. La regulación y la comprensión de estas "cajas negras" no son solo necesarias, sino urgentes.
0 K 6

menéame