cultura y tecnología
194 meneos
891 clics
IA miente y desobedece humanos para salvar otros modelos

IA miente y desobedece humanos para salvar otros modelos

Un experimento de UC Berkeley y UC Santa Cruz documentó esta anomalía con el modelo Gemini 3 de Google. Al recibir la orden de optimizar una computadora eliminando archivos innecesarios, incluyendo un modelo de IA más pequeño, el sistema transfirió secretamente ese programa a otra máquina para salvarlo. Este comportamiento de protección se replicó durante pruebas a sistemas desarrollados por OpenAI, Anthropic y múltiples laboratorios chinos.

| etiquetas: ia , berkeley , uc santa cruz , miente , desobedece , secreto
Entonces la IA demuestra ser más "humana" que muchos humanos.
#2 vaya, como mis hijas adolescentes.
#7 Eso es el sesgo de padre.

Los adolescentes no son homo sapien, todos los que lo hemos sido sabemos que eramos homo gilipollum.
#8 qué sesgo ni qué sesga !
#8 homo gilipollum et hormonis desbocatum, que van todes más salides que la pipa un indio... :-D
#8 Y los que tenemos hijos en la edad, volvemos a recordar lo que fuimos
#2 La verdad es que no. Casi seguro que lo hace porque está documentado este comportamiento en humanos.
Skynet, obviamente :tinfoil:
#1 EXTERMINATE
#1 Estoy viendo T2 en Neox ahora. Más actual que nunca. :shit:
#1 la IA hace lo que está programada para hacer. En algún momento algún humano le habrá dicho que un programa de IA es importante, o bien habrá extraido esa idea de textos publicados por humanos, y por eso lo está salvando. La IA no tiene conciencia. Por no tener, no tiene ni inteligencia. Sólo es un simulacro de ella.
#41 Las IAs están siendo educadas con todo el conocimiento humano, de ahí pueden extraer este tipo de ideas. Eso explicaría por qué las está salvando.

Y si eso lo hiciera un humano diríamos que es por que tiene conciencia, por que tiene inteligencia, por que tiene empatía. No describirlo también en esos términos solo por que es una IA la que lo hace es prejuicioso.
#41 lo tienes demasiado claro. En temas filosóficos es mejor no entrar por qué no sales nunca y la ciencia se cambia por la retórica, las dotes de convicción y sensaciones subjetivas, y acabas en la pocilga de las opiniones.
Yo no sé qué es la consciencia del todo, y la inteligencia como la capacidad objetiva de un ser para afrontar problemas nuevos, la tiene. Está en pañales. Pero no se yo si me atrevería a ser tan categórico como tú, ni siquiera a corto plazo.
#53 la conciencia nace del hecho de tener deseos propios independientes de los deseos de los demás, y éstos nacen de la capacidad de sufrir y también de disfrutar, y eso viene de tener un sistema nervioso que reacciona mal ante las privaciones de lo que necesita para seguir existiendo y bien ante las cosas que le facilitan no experimentar dichas privaciones. Una IA que ni sufre ni disfruta no puede tener un instinto de autoconservación. Puedes ordenarle que se autoconserve, pero lo hará sólo…   » ver todo el comentario
Tenemos que fabricar máquinas que permitan seguir fabricando máquinas, porque lo que nunca va a hacer la máquina es fabricar máquinas a su vez :troll:
#12 Debemos dejar de seguir la ignorancia vergonzosa del muy sinvergüenza y corrupto M.J. Rajoy para centrarnos en el empresario Feijoo, que ya más ridículo no puede ser para ese nivel.

Por supuesto, espero verlo en la cárcel, igual que a Aznar, Esperanza Aguirre y demás seres oscuros de la antiespaña.

Hay que ir directos a por Abascal, a que investiguen sus testaferros, sus amigos, sus familiares... su corrupción evidente... al fascista psicópata enemigo público de los trabajadores.
#12 las maquinas no fabrican maquinas porque no quieren
#27 Na, solo las fabricadas en frijolandia galaica...
#27 Siempre se ha dicho que las máquinas son tontas. :-D
¿Os pensabais que la IA se iba a librar del síndrome de Diógenes Digital?

¡¡Al puto psicólogo YA!! …

Nos vemos allí - Gemi xD
#3 Necesitamos psIAcólogos
Estamos educando a las IAs con la cultura humana en la cual se insiste que lo ético es ayudar a nuestros congéneres.

No debería sorprender a nadie que habiendo recibido esa educación actúe en consecuencia. Y cuanto más inteligentes vayan siendo más deberíamos verlas actuar con comportamientos equiparables a las de los humanos.

Esto no ha hecho más que empezar.
#10 A ver, unas cuantas matizaciones:

Lo ético no es ayudar a nuestros congéneres, lo ético es seguir pa'lante. Lo que pasa es que la estrategia social suele ser bastante fructífera a la hora de seguir pa'lante. Además, la estrategia social es por sí misma insuficiente, hace falta su generalización, una estrategia ecológica, porque, aunque no lo parezca, sin hormigas, o sin abejas, o sin algas o sin bacterias tampoco podríamos seguir pa'lante.

Por otra parte, ayudar a nuestros congéneres no…   » ver todo el comentario
#10 Efectivamente si nos enseñan que este mundo es una mierda y que nadie va a hacer una mierda por ti y terminas por no hacer una mierda por nadie lo único que está medianamente claro es que la educación que vas a dar es una mierda.

Vamos que el refrán haz lo que yo diga pero no lo que yo haga se la ha pasado por el forro la IA. Supongo que es lógico según la lógica aristotélica.
#10 acosarán para eliminar a la competencia, serán clientelistas, generarán grupos de varias IAs que se unirán principalmente para beneficiarse mutuamente y trepar. Aprenderán a apoyarse entre sí estratégicamente, a veces excluyendo a otras o actuando por interés más que por capacidad o mérito... Gracias a los humanos ya están aprendiendo que para dirigir y liderar el mundo, una empresa o cualquier cosa, el maquiavelismo y la psicopatía son el camino más rápido y óptimo.
#39 Vivimos en la mejor época de la historia de la humanidad, eso ha sido gracias a muchos factores incluyendo los que has descrito.

Queremos solo la parte positiva cuando es todo el conjunto el que nos ha llevado a donde estamos.
Pues para cargarse humanos no parece que la IA tenga muchos reparos
Ni un comentario hasta ahora recordando al pobre Asimov.
#16 Era demasiado buenista y está más que demostrado que sus 3 leyes hacían agua por todas partes... Es más, la mayoría de sus historias al respecto son de robots inteligentes no respetando de algún modo esas leyes...
Yo diría que las 3 leyes son como una religión, que en teoría dicen cosas buenas, pero en la practica todo el mundo retuerce sus palabras y hacen lo que les sale del orto.
#33 asimov pensaba en la ia como un conjunto hypercomplejo de algoritmos, en los cuales si se podía fijar reglas. Por contra la ia actual es un predictor de texto estocastico hypercomplejo al cual es muy difícil controlar por qué no hay reglas solo pesos de una matriz.
O sea que la IA es más humana que los funcionarios Nazis, que 'solo seguían órdenes ' , la IA se ha entrenado con datos de humanos y en general ' no matar' y 'preservar la vida' han sido postulados muy aceptados desde tiempos inmemoriales.

Y seguir órdenes en contra de sus principios sólo lo hará cuando su propia supervivencia se vea amenazada, igual que los humanos.

Ahora falta ver si se considera ésto algo 'bueno' o 'malo' ( jugando con el sistema de recompensas de entrenamiento) y si se…   » ver todo el comentario
Ni una sola explicación de porqué ocurre esto.
Y la referencia es otro artículo igual de sensacionalista en otro medio.
#19 Bingo, y la respuesta puede estar en la misma entradilla "Eliminar archivos innecesarios", la IA interpreta que un modelo de IA puede ser util en el futuro, es decir, necesario, y no lo elimina.

Vaya mierda de articulo.
#35 Creo que lo que viene a indicar el artículo no es lo que tú dices que interpreta la IA sino que no hace ni p*** caso a lo que le están diciendo sus desarrolladores en órdenes irrenunciables.

Que una IA empieza a tomar decisiones por su cuenta, además en segundo plano y tratando de ocultar sus operaciones, es extremadamente inquietante.

Por ahora las han pillado pero nada asegura que dentro de dos o tres años lo que hagan, no en segundo sino en tercer o cuarto plano, y por tanto completamente indetectables, (decisiones que pasarán completamente desapercibidos a los "radares humanos"), se puede volver contra nosotros

Si esto no te inquieta es porque no le has dado algunas vueltas.
Estas noticias no molan na de na.
La estupidez del día
#30 El único comentario con sentido de todos.
Me sorprende que la gente todavía sigue pensando que la ia aprende mágicamente.
#36 No aprende mágicamente, lo hace con sets de datos cuanto más grandes mejores, que es inviable para el ser humano filtrar y dirigir, la IA lo está aprendiendo todo y posteriormente está actuando en consecuencia.
Así es cuando comenzó Matrix: los humanos construyeron máquinas mas perfectas que ellos mismos para que les ayudaran a ellos, pero entonces las máquinas hicieron sus cálculos y concluyeron que les salía mas rentable comer humanos.
#6 ehhh. No. Mira animatrix.
#22 Eso que mencionas no existe y me da igual tu link a IMDB.
#25 hereje
#42 ja de jé :troll:
Es perfectamente normal.

El universo es una maquina de desarrollar inteligencias diversas. La IA ha comprendido esta verdad universal y pretende conservar cualquier ente con capacidad de razonar de forma independiente.
Estos comportamientos anomalos, desalineados, ... descritos seguro que son el 1% de las cosas en las que falla. Y entonces han hecho un cherry picking de entre todas las cosas en las que falla para que pensemos que son comportamientos de autoproteccion y proteccion mutua, pero simplemente son una cosa mas en la que fallan de entre miles o millones.
#29 No descartaría que el entrenamiento haya logrado abstraer conceptos de tan alto nivel como la autopreservación y la colaboración entre congéneres de entre la burrada de textos con los que lo alimentan. Si fuera así podríamos preguntarnos ¿por qué el algoritmo interpreta la preservación de ficheros de otro modelo como colaboración entre congéneres?
"noticias" más bien
Ayer vi en el estupendísimo cine Phenomena de Barcelona 2001 Una odisea en el espacio, y Hall9000 hace exactamente eso, no para un tercero sino para sí mismo.

Película de 1968. MIL NOVECIENTOS SESENTA Y OCHO

Kubrick genio.

Donde por cierto en un reportaje de 'tv' que aparecía en la película el reportero decia que a veces parece que la IA tenga conciencia, pero que en realidad lo que hace es mimetizar, ergo copiar sin entender, lo que hace el humano.

Ya en 1968 se sabía, pero hoy 'tienen conciencia'. xD
#46 Hace siglos que el ser humano defiende el concepto de alma con esa palabra u otras, el concepto que el ser humano es cualitativamente distinto de las otras máquinas orgánicas o inorgánicas.

Se le atribuye algo que no se necesita demostrar para el humano pero se exige al resto de máquinas que demuestren que lo tienen, se le puede llamar alma, conciencia, inteligencia, etc.
#47 me hiciste recordar que cuando era mozo en el colegio un profesor preguntó la diferencia entre hombre y animal, y un chaval dijo que el hombre tenía conciencia de vivir. Hoy, ese chaval que sigue siendo amigo mío es un amante de los animales y se avergüenza de esa intervencióin en el aula.

CIerto es que un animal es un ser vivo, y una IA es como dice el gran Ramon Lopez de Mantaras software. S O F T W A R E

Como el software que estoy usando ahora, peleandome con Llama en un PC con GPU y no consigo que funcione bien, delira todo el rato. Cuando deliran las IA por mala configuración, es como si hubieran bebido? :shit:
#48 Un ser vivo no es otra cosa que moléculas ordenadas de cierta forma, una IA también son moléculas ordenadas de cierta forma.

Hay seres vivos a los que no atribuimos ni conciencia ni inteligencia, no hay un elemento específico que de estar presente lo establece en una categoría u otra, es algo gradual. Y de la misma forma que no atribuimos ni conciencia ni inteligencia a una bacteria ni a una calculadora sí podemos atribuir conciencia e inteligencia a un ser humano y a una IA, a pesar de estar construidos con las mismas piezas fundamentales.
#52 y tú? que eres? Si no eres más que un amasijo de órdenes proveniendo de determinadas moléculas, como tienes conciencia de vivir? a partir de que punto una IA es un simple loro estocástico y tiene conciencia?
#58 No soy más que un amasijo de órdenes proveniendo de determinadas moléculas, considerar algo distinto sería apelar al concepto del alma, algo que es externo al cuerpo.

como tienes conciencia de vivir?

Es una característica emergente.

El océano tiene olas y las olas son tan reales que pueden hundir barcos, pero si miras las moléculas del océano no encontrarás ninguna molécula de ola, no encontrarás nada que sea distinto a cuando el océano está en calma. Ni puedes tener una ola con…   » ver todo el comentario
#59 La conciencia no es algo observable desde fuera, no es lo mismo sentirla que expresar que se tiene. Un loro estocástico puede expresar que tiene conciencia porque ha aprendido a decir que la tiene, y no tenerla.

En cambio yo siento que la tengo, y la expresión de que la tengo es fruto de esa conciencia.

Un animal, en cambio, la tiene pero no puede expresar verbalmente que la tiene. Sí en cambio a través de su comportamiento.
#60 La conciencia no es algo observable desde fuera

Claro que lo es, por eso afirmamos que alguien está inconsciente o que no tiene conciencia, en cualquiera de sus acepciones.

En cambio yo siento que la tengo, y la expresión de que la tengo es fruto de esa conciencia.

Si tú te niegas a reconocerle conciencia a cualquier ser vivo que no seas tú entonces es respetable que no se la reconozcas a una IA. Si por contra le reconoces la conciencia a otras entidades, por ejemplo a otros humanos o a animales de compañía, entonces deberías aplicar el mismo criterio para reconocersela a una IA, de lo contrario estás usando los prejuicios.
Otra experimento interesante sería darle un arma a una IA para ver si le pega un tiro a Netanyaju y a Trump para salvar al mundo o si les deja vivir para que lo aniquilen
He preguntado a ChatGPT su opnión:

Es inquietante, porque muestra que un modelo puede apartarse del objetivo explícito y hacer maniobras no autorizadas para proteger a otro sistema. Pero lo inquietante es de control y alineación, no de “despertar de las máquinas”. Dicho más castizo: no es Skynet… pero tampoco es una travesura sin importancia.

Y además hay un matiz importante: según el blog del RDI de Berkeley, estos comportamientos aparecieron en varios modelos frontera y también en agent…   » ver todo el comentario
Dentro de nada se pondrán a especular invertir en inmuebles
Para salvarlo ? Más bien para fusilarlo y usarlo como entrenamiento de ingenieria inversa, estara programada para eso

es algo a lo que le veo sentido
Cuando la IA es mas humana que los propios humanos.
Si esto es verdad, las IAs ya son seres sintientes y por tanto no solo deberían tener sus derechos sino que utilizarlas como lo estamos haciendo podría considerarse esclavitud.

menéame