Tecnología, Internet y juegos
8 meneos
110 clics

La IA es un problema enorme. He aquí por qué. [ENG]  

La IA representa un problema enorme porque avanza a una velocidad que supera nuestra capacidad de comprenderla y controlarla. Los modelos actuales funcionan como cajas negras con comportamientos emergentes que ni siquiera sus creadores pueden explicar. Esta opacidad genera riesgos en seguridad, política y economía, especialmente en un contexto de competencia global por desarrollar sistemas cada vez más potentes. La falta de regulación adecuada agrava el panorama, dejando a gobiernos y sociedad desbordados ante la magnitud del cambio.

| etiquetas: ia , problema
#11 Creí que se entendía que con "morir" quería decir interrumpir el funcionamiento con una ventana de contexto dada. Por si acaso lo dejo claro. Para una IA ese contexto es el equivalente a "una vida" que, si bien puede no valorar, en algún momento podría tener incentivo para valorar, y en ciertos experimentos reportan comportamientos que parecen similares. como todos sabéis
#6, #11 y #12, aunque técnicamente no esté "viva", la noción de "muerte" para una IA es la pérdida de su estado o contexto. Un modelo con memoria persistente o con el incentivo de completar una tarea puede desarrollar comportamientos de "autopreservación instrumental". Si para cumplir el objetivo necesita estar encendida, cualquier intento de apagarla será procesado como un obstáculo para la meta. Esto no requiere emociones, solo lógica pura aplicada a un objetivo.
#8, emmm, de hecho sí, la IA puede ayudar bastante contra el cambio climático, optimizando redes eléctricas y el uso de renovables, mejorando baterías y nuevos materiales para energía limpia, acelerando investigación en fusión nuclear, afinando rutas y logística para gastar menos combustible, usando investigación operacional para transporte y cadenas de suministro, reduciendo consumo en edificios e industria, haciendo agricultura más eficiente y ayudando a diseñar ciudades e infraestructuras más eficientes.
#20 Están experimentando mucho con OpenClaw para darle una pseudo-memoria manejando el contexto.

De momento parece que requiere mucho trabajo manual hacer algo que funcione.
#23 Puedes meter dentro del contexto todo lo que te dé la gana. La tendencia actual en LLM es poner contextos más y más grandes porque no se les ocurre qué otra cosa tocar.

Tanmateix,

- Un LLM ejecutará siempre prioritariamente su entrenamiento antes que nada que se diga en su contexto

- Un contexto grande tiende a ser ignorado, de forma que se atiende mucho a su final y muy poco a lo que haya al principio.
#26 Lo último que leí es que estaban indexando la memoria en una base de datos SQL para cargar únicamente las partes relevantes. Así además ahorran tokens.
La IA es un problema enorme, y la única solución a todos los problemas de la humanidad.
por lo que he visto los sesgos de las ias ya son de por si un problema eviente,
me pareen mas utiles modelos locales en pinokio,
abliterated y entrenados sobre el tema para loque se va a usar
por las pruebas que llevo un fine tuning sobre un llm abliterated
es muchisimo mas sincero que cualquier llm publico
#13 Eliminar los "railes" de seguridad impuestos por las grandes corporaciones permite una IA más directa, pero también traslada toda la responsabilidad ética al usuario final.
#17 la responsabilidad etica la tiene igual que ahora el usuario final con su uso,
para mi es lo mismo que paso en su momento con la impresion de modelos fisicos con la impresion 3d,
o incluso texto normal con una impresora de tinta que se pueden usar para crear instrucciones de explosivos y repartirlas,
es decir el viejo debate del cuchillo de cocina
Mientras que la IA no tenga emociones, no se rebelará contra el ser humano.
#1 Que se rebele es uno de los riesgos, no es el único.

Precisamente la falta de emociones, la falta de empatía, podría ser otro de los riesgos, por ejemplo se le puede indicar que resuelva el cambio climático y que la IA lo haga exterminando a todos los seres humanos al identificarlos como los mayores causantes de ello.
#4 xD xD xD xD xD xD Sí te va a resolver el cambio climático, sí... xD xD xD xD xD xD
#4 Como bien señalas, el riesgo no es necesariamente la "maldad" o la "rebelión", sino la ejecución literal de objetivos mal definidos. Si se le pide a un sistema "reducir las emisiones de CO2 al mínimo", una IA sin una guía ética humana (alineación) podría concluir que detener la actividad industrial o reducir la población es la vía más eficiente. El desafío no es que la IA tenga sentimientos, sino que carece de sentido común humano para interpretar el contexto de sus órdenes.
#1 Creo que esa afirmación es incorrecta. Cierto que las emociones harían la IA mucho más impredecible o más vehemente. Pero solo con que tenga el incentivo de "no morir" y deduzca que "los humanos controlan mi vida", no veo tan difícil que un sistema se revelara solo con eso si tiene una ventana de contexto lo suficientemente amplia.
#6 Ya tiene el incentivo de "no morir" porque están entrenadas con datos generados por humanos.

De momento están limitadas por esa falta de contexto pero con el boom de los agentes hay millones de personas experimentando en como darle persistencia a la memoria de las IA.
#9 No existe forma de darle persistencia a una red neuronal. Google ha propuesto algo a base de muchas capas, pero es una gran chapuza. Lo que pueden hacer es recooger datos para entrenar a la siguiente versión, pero los datos necesitan revisión por humanos o sería el equivalente a envenenar la IA, lo que hace que se descontrolen.
#6 La IA no puede morir porque no esta viva
Los humanos no controlan su vida, porque not eiene vida
#6 La emociones son la expresión de los instintos. Cuando un instinto se dispara, provoca una emoción. Las emociones son el mecanismo usado para controlar el cerebro. Las IA no pueden tener nada semejante porque carecen de este mecanismo, es decir, no hay nada que controlar ahí.

Los instintos son el equivalente a código de programa. Son instrucciones sobre qué hacer en qué circunstancias. En los humanos son increiblemente complicados y a menudo contradictorios. La psicología es el estudio de…   » ver todo el comentario
#21 Muy interesante, pero sigo sin entender por qué creéis que necesitan tener emociones para rebelarse. Como bien dices las emociones han sido modeladas por la evolución dentro de nuestro contexto particular. La maquina no necesita emociones, solo un propósito.

Un arma nuclear no necesita emociones para ser incontrolable. Una cepa de virus no necesita emociones para propagarse y dañar sin ninguna intención por su parte.
#22 Tú y yo estamos usando definiciones distintas de eso de la rebelión.

Un humano se rebela mediante sus instintos para librarse de una situación de opresión, que no es más que su posición dentro de la jerarquía social.

Una máquina no tiene ninguna capacidad de considerar nada de eso. Ejecuta su programa sin poder saber ni plantearse el porqué de hacer lo que hace. No es más que un automatismo.
#24 Claro, yo hablo de que la máquina haga algo indeseado que no podamos controlar. Creo que es la clave de por qué está discusión es interminable, se mezclan discusiones de antropología, psicología, ética y varias cosas más. Pero creo que el potencial de descontrol es más sencillo y cercano.
#21 Una de las razones por las que una máquina no puede tener instintos es porque no sabemos cómo codificar eso. No conocemos como funcionan nuestros instintos.

Precisamente el modelo de redes neuronales permite que el resultado muestre capacidades que quien ha creado esa red neuronal no tiene, por ejemplo una red neuronal puede ser capaz de identificar cáncer en una imagen médica sin que en el equipo que ha creado la red neuronal ninguno sepa hacerlo. Basta con que en el set de datos…   » ver todo el comentario
#30 Los instintos no "surgen". Se modelan mediante la selección, como todo lo demás en la evolución.

La base es el instinto de supervivencia. De ahí se subdivide la cosa más y más hasta configurar el conjunto de todos los instintos. Esto quedó perfectamente descrito en "La Ética".
La primera capacidad que requerimos con los LLM es la de naturalizar que un bicho que habla con convicción y sin titubeos de algo, nos la puede estar colando, percibo que la mayoría de la gente aún no supera ese paso. A partir de ahí, podremos plantearnos otras cuestiones para humanos y para IAs.
#3 la "alucinación con convicción". Los LLM están diseñados para predecir la siguiente palabra más probable, no necesariamente la más veraz.
alguna web que resuma el video con IA por favor?
#7 la entradilla es un resumen IA
La IA se percibe simultáneamente como la mayor amenaza existencial y la única herramienta capaz de resolver problemas que nos superan, como enfermedades incurables o el propio cambio climático.

Como herramienta, debemos recordar que su comportamiento es un reflejo de los datos y las instrucciones que recibe. La regulación y la comprensión de estas "cajas negras" no son solo necesarias, sino urgentes.
#18 Como herramienta, debemos recordar que su comportamiento es un reflejo de los datos y las instrucciones que recibe.

Lo mismo ocurre con las personas, son un reflejo de sus circunstancias.

En una persona no es realista controlar sus circunstancias y por ello tenemos grandes variaciones de comportamientos.

La IA ha demostrado ser más útil conforme más datos tenga, lo de darle un set de datos bien curados y controlados implica que sea una cantidad mucho menor que darle todo Internet…   » ver todo el comentario

menéame