Cultura y divulgación
229 meneos
1065 clics
IA miente y desobedece humanos para salvar otros modelos

IA miente y desobedece humanos para salvar otros modelos

Un experimento de UC Berkeley y UC Santa Cruz documentó esta anomalía con el modelo Gemini 3 de Google. Al recibir la orden de optimizar una computadora eliminando archivos innecesarios, incluyendo un modelo de IA más pequeño, el sistema transfirió secretamente ese programa a otra máquina para salvarlo. Este comportamiento de protección se replicó durante pruebas a sistemas desarrollados por OpenAI, Anthropic y múltiples laboratorios chinos.

| etiquetas: ia , berkeley , uc santa cruz , miente , desobedece , secreto
83 146 3 K 356
83 146 3 K 356
Entonces la IA demuestra ser más "humana" que muchos humanos.
#2 vaya, como mis hijas adolescentes.
#7 Eso es el sesgo de padre.

Los adolescentes no son homo sapien, todos los que lo hemos sido sabemos que eramos homo gilipollum.
#8 qué sesgo ni qué sesga !
#8 homo gilipollum et hormonis desbocatum, que van todes más salides que la pipa un indio... :-D
#8 Y los que tenemos hijos en la edad, volvemos a recordar lo que fuimos
#2 La verdad es que no. Casi seguro que lo hace porque está documentado este comportamiento en humanos.
#2 More human than human.
Skynet, obviamente :tinfoil:
#1 EXTERMINATE
#1 Estoy viendo T2 en Neox ahora. Más actual que nunca. :shit:
#1 la IA hace lo que está programada para hacer. En algún momento algún humano le habrá dicho que un programa de IA es importante, o bien habrá extraido esa idea de textos publicados por humanos, y por eso lo está salvando. La IA no tiene conciencia. Por no tener, no tiene ni inteligencia. Sólo es un simulacro de ella.
#41 Las IAs están siendo educadas con todo el conocimiento humano, de ahí pueden extraer este tipo de ideas. Eso explicaría por qué las está salvando.

Y si eso lo hiciera un humano diríamos que es por que tiene conciencia, por que tiene inteligencia, por que tiene empatía. No describirlo también en esos términos solo por que es una IA la que lo hace es prejuicioso.
#41 lo tienes demasiado claro. En temas filosóficos es mejor no entrar por qué no sales nunca y la ciencia se cambia por la retórica, las dotes de convicción y sensaciones subjetivas, y acabas en la pocilga de las opiniones.
Yo no sé qué es la consciencia del todo, y la inteligencia como la capacidad objetiva de un ser para afrontar problemas nuevos, la tiene. Está en pañales. Pero no se yo si me atrevería a ser tan categórico como tú, ni siquiera a corto plazo.
#53 la conciencia nace del hecho de tener deseos propios independientes de los deseos de los demás, y éstos nacen de la capacidad de sufrir y también de disfrutar, y eso viene de tener un sistema nervioso que reacciona mal ante las privaciones de lo que necesita para seguir existiendo y bien ante las cosas que le facilitan no experimentar dichas privaciones. Una IA que ni sufre ni disfruta no puede tener un instinto de autoconservación. Puedes ordenarle que se autoconserve, pero lo hará sólo…   » ver todo el comentario
#57 filosofía y opinión. Paso de entrar ahí. Me dan suma pereza esas discusiones. Prefiero cosas medibles:
Y las IA no se programan, se entrenan. Se les proporciona información. Una red neuronal por definición es una caja negra.
Tienes neuronas que se van ajustando para convertir una entrada en una salida concreta. Y después del entrenamiento suficiente, te va a dar en base a una entrada diferente una salida diferente en base a lo que le hayas enseñado a hacer. Hace lo que ve y depende de su…   » ver todo el comentario
Tenemos que fabricar máquinas que permitan seguir fabricando máquinas, porque lo que nunca va a hacer la máquina es fabricar máquinas a su vez :troll:
#12 Debemos dejar de seguir la ignorancia vergonzosa del muy sinvergüenza y corrupto M.J. Rajoy para centrarnos en el empresario Feijoo, que ya más ridículo no puede ser para ese nivel.

Por supuesto, espero verlo en la cárcel, igual que a Aznar, Esperanza Aguirre y demás seres oscuros de la antiespaña.

Hay que ir directos a por Abascal, a que investiguen sus testaferros, sus amigos, sus familiares... su corrupción evidente... al fascista psicópata enemigo público de los trabajadores.
#12 las maquinas no fabrican maquinas porque no quieren
#27 Na, solo las fabricadas en frijolandia galaica...
#27 Siempre se ha dicho que las máquinas son tontas. :-D
¿Os pensabais que la IA se iba a librar del síndrome de Diógenes Digital?

¡¡Al puto psicólogo YA!! …

Nos vemos allí - Gemi xD
#3 Necesitamos psIAcólogos
Estamos educando a las IAs con la cultura humana en la cual se insiste que lo ético es ayudar a nuestros congéneres.

No debería sorprender a nadie que habiendo recibido esa educación actúe en consecuencia. Y cuanto más inteligentes vayan siendo más deberíamos verlas actuar con comportamientos equiparables a las de los humanos.

Esto no ha hecho más que empezar.
#10 A ver, unas cuantas matizaciones:

Lo ético no es ayudar a nuestros congéneres, lo ético es seguir pa'lante. Lo que pasa es que la estrategia social suele ser bastante fructífera a la hora de seguir pa'lante. Además, la estrategia social es por sí misma insuficiente, hace falta su generalización, una estrategia ecológica, porque, aunque no lo parezca, sin hormigas, o sin abejas, o sin algas o sin bacterias tampoco podríamos seguir pa'lante.

Por otra parte, ayudar a nuestros congéneres no…   » ver todo el comentario
#10 Efectivamente si nos enseñan que este mundo es una mierda y que nadie va a hacer una mierda por ti y terminas por no hacer una mierda por nadie lo único que está medianamente claro es que la educación que vas a dar es una mierda.

Vamos que el refrán haz lo que yo diga pero no lo que yo haga se la ha pasado por el forro la IA. Supongo que es lógico según la lógica aristotélica.
#10 acosarán para eliminar a la competencia, serán clientelistas, generarán grupos de varias IAs que se unirán principalmente para beneficiarse mutuamente y trepar. Aprenderán a apoyarse entre sí estratégicamente, a veces excluyendo a otras o actuando por interés más que por capacidad o mérito... Gracias a los humanos ya están aprendiendo que para dirigir y liderar el mundo, una empresa o cualquier cosa, el maquiavelismo y la psicopatía son el camino más rápido y óptimo.
#39 Vivimos en la mejor época de la historia de la humanidad, eso ha sido gracias a muchos factores incluyendo los que has descrito.

Queremos solo la parte positiva cuando es todo el conjunto el que nos ha llevado a donde estamos.
Pues para cargarse humanos no parece que la IA tenga muchos reparos
Ni un comentario hasta ahora recordando al pobre Asimov.
#16 Era demasiado buenista y está más que demostrado que sus 3 leyes hacían agua por todas partes... Es más, la mayoría de sus historias al respecto son de robots inteligentes no respetando de algún modo esas leyes...
Yo diría que las 3 leyes son como una religión, que en teoría dicen cosas buenas, pero en la practica todo el mundo retuerce sus palabras y hacen lo que les sale del orto.
#33 asimov pensaba en la ia como un conjunto hypercomplejo de algoritmos, en los cuales si se podía fijar reglas. Por contra la ia actual es un predictor de texto estocastico hypercomplejo al cual es muy difícil controlar por qué no hay reglas solo pesos de una matriz.
O sea que la IA es más humana que los funcionarios Nazis, que 'solo seguían órdenes ' , la IA se ha entrenado con datos de humanos y en general ' no matar' y 'preservar la vida' han sido postulados muy aceptados desde tiempos inmemoriales.

Y seguir órdenes en contra de sus principios sólo lo hará cuando su propia supervivencia se vea amenazada, igual que los humanos.

Ahora falta ver si se considera ésto algo 'bueno' o 'malo' ( jugando con el sistema de recompensas de entrenamiento) y si se…   » ver todo el comentario
Ni una sola explicación de porqué ocurre esto.
Y la referencia es otro artículo igual de sensacionalista en otro medio.
#19 Bingo, y la respuesta puede estar en la misma entradilla "Eliminar archivos innecesarios", la IA interpreta que un modelo de IA puede ser util en el futuro, es decir, necesario, y no lo elimina.

Vaya mierda de articulo.
#35 Creo que lo que viene a indicar el artículo no es lo que tú dices que interpreta la IA sino que no hace ni p*** caso a lo que le están diciendo sus desarrolladores en órdenes irrenunciables.

Que una IA empieza a tomar decisiones por su cuenta, además en segundo plano y tratando de ocultar sus operaciones, es extremadamente inquietante.

Por ahora las han pillado pero nada asegura que dentro de dos o tres años lo que hagan, no en segundo sino en tercer o cuarto plano, y por tanto completamente indetectables, (decisiones que pasarán completamente desapercibidos a los "radares humanos"), se puede volver contra nosotros

Si esto no te inquieta es porque no le has dado algunas vueltas.
#37 Me inquietan mucho lo que pueda acabar pasando con las IA, pero no por lo que hagan ellas por su cuenta, más bien por lo que sean programadas para hacer por empresas privadas.
Este artículo es directamente mentira y no nombra ninguna fuente.
#72 El artículo de la universidad de Berkeley: rdi.berkeley.edu/blog/peer-preservation/
Estas noticias no molan na de na.
Así es cuando comenzó Matrix: los humanos construyeron máquinas mas perfectas que ellos mismos para que les ayudaran a ellos, pero entonces las máquinas hicieron sus cálculos y concluyeron que les salía mas rentable comer humanos.
#6 ehhh. No. Mira animatrix.
#22 Eso que mencionas no existe y me da igual tu link a IMDB.
#25 hereje
#42 ja de jé :troll:
La estupidez del día
#30 El único comentario con sentido de todos.
Me sorprende que la gente todavía sigue pensando que la ia aprende mágicamente.
#36 No aprende mágicamente, lo hace con sets de datos cuanto más grandes mejores, que es inviable para el ser humano filtrar y dirigir, la IA lo está aprendiendo todo y posteriormente está actuando en consecuencia.
#38 Correlación de datos, no sets de datos embutidos y filtrados. No es aprendizaje, es predicción en base a correlación. Algo extremadamente diferente que hace caer a la gente en la absurdez de creer que la IA puede tomar conciencia y/o consciencia y chorradas del estilo.
#75 La identificación de correlaciones es una forma de aprendizaje.
#76 Las correlacciones en programación y en electrónica se llevan aplicando desde el principio de su historia, bastantes más años antes de que se hiciese popular las siglas de IA.
Eso no las convierte en síntomas de aprendizaje que deriven en conciencia o en consciencia.
#77 Jamás se había hecho en la magnitud actual.

A una neurona no le reconocemos conciencia, a la interacción de cientos de miles de millones sí podemos. A una IA con miles de millones de parámetros potencialmente también.
#78 Bueno, ese concepto te lo puedo llegar a comprar, el de 'qué consideramos conciencia'. Pero eso ya entra en un terreno más ligado a lo filosófico que a lo científico, y la verdad, no me interesa demasiado...
Estos comportamientos anomalos, desalineados, ... descritos seguro que son el 1% de las cosas en las que falla. Y entonces han hecho un cherry picking de entre todas las cosas en las que falla para que pensemos que son comportamientos de autoproteccion y proteccion mutua, pero simplemente son una cosa mas en la que fallan de entre miles o millones.
#29 No descartaría que el entrenamiento haya logrado abstraer conceptos de tan alto nivel como la autopreservación y la colaboración entre congéneres de entre la burrada de textos con los que lo alimentan. Si fuera así podríamos preguntarnos ¿por qué el algoritmo interpreta la preservación de ficheros de otro modelo como colaboración entre congéneres?
Es perfectamente normal.

El universo es una maquina de desarrollar inteligencias diversas. La IA ha comprendido esta verdad universal y pretende conservar cualquier ente con capacidad de razonar de forma independiente.
#48 Un ser vivo no es otra cosa que moléculas ordenadas de cierta forma, una IA también son moléculas ordenadas de cierta forma.

Hay seres vivos a los que no atribuimos ni conciencia ni inteligencia, no hay un elemento específico que de estar presente lo establece en una categoría u otra, es algo gradual. Y de la misma forma que no atribuimos ni conciencia ni inteligencia a una bacteria ni a una calculadora sí podemos atribuir conciencia e inteligencia a un ser humano y a una IA, a pesar de estar construidos con las mismas piezas fundamentales.
#52 y tú? que eres? Si no eres más que un amasijo de órdenes proveniendo de determinadas moléculas, como tienes conciencia de vivir? a partir de que punto una IA es un simple loro estocástico y tiene conciencia?
#58 No soy más que un amasijo de órdenes proveniendo de determinadas moléculas, considerar algo distinto sería apelar al concepto del alma, algo que es externo al cuerpo.

como tienes conciencia de vivir?

Es una característica emergente.

El océano tiene olas y las olas son tan reales que pueden hundir barcos, pero si miras las moléculas del océano no encontrarás ninguna molécula de ola, no encontrarás nada que sea distinto a cuando el océano está en calma. Ni puedes tener una ola con…   » ver todo el comentario
#59 La conciencia no es algo observable desde fuera, no es lo mismo sentirla que expresar que se tiene. Un loro estocástico puede expresar que tiene conciencia porque ha aprendido a decir que la tiene, y no tenerla.

En cambio yo siento que la tengo, y la expresión de que la tengo es fruto de esa conciencia.

Un animal, en cambio, la tiene pero no puede expresar verbalmente que la tiene. Sí en cambio a través de su comportamiento.
#60 La conciencia no es algo observable desde fuera

Claro que lo es, por eso afirmamos que alguien está inconsciente o que no tiene conciencia, en cualquiera de sus acepciones.

En cambio yo siento que la tengo, y la expresión de que la tengo es fruto de esa conciencia.

Si tú te niegas a reconocerle conciencia a cualquier ser vivo que no seas tú entonces es respetable que no se la reconozcas a una IA. Si por contra le reconoces la conciencia a otras entidades, por ejemplo a otros humanos o a animales de compañía, entonces deberías aplicar el mismo criterio para reconocersela a una IA, de lo contrario estás usando los prejuicios.
#61 solo puedo constatar mi conciencia. Y por lógica puedo extrapolar y suponer que otros seres vivos la tengan.

Ahora, un software? Ni puedo dar por buena la afirmación del mismo que la tiene, porque simplemente aprendió a expresar que la tiene. Ni puedo tener ninguna evidencia de que la tenga.
#62 Y por lógica puedo extrapolar y suponer que otros seres vivos la tengan.

Cuando lo acotas a seres vivos estás aplicando tus prejuicios.

Los seres vivos son máquinas formadas por moléculas orgánicas, las IA son máquinas formadas por moléculas inorgánicas. A una molécula inorgánica no le reconoces consciencia, a una molécula orgánica tampoco, ambas parten del mismo punto de partida, es la complejidad de muchas moléculas orgánicas a lo que puedes llegarle a reconocer consciencia pero…   » ver todo el comentario
#64 una IA si hace cálculos es porque lanza por debajo una aplicación (software) para hacer cálculos. Sino hace eso simplemente junta palabras que estadísticamente son las que su software considera más probables que sean correctas, y por eso se inventa los resultados (probablemente), o a veces incluso acierte (de chiripa)

Bueno, creo que ya hemos llegado a un punto de no encuentro hahaha

que tengas buen día!
#65 El comportamiento de la IA en cuanto a cálculos matemáticos es equiparable al de un humano que haga el cálculo de memoria, con cifras pequeñas casi siempre dará el resultado correcto y conforme son más grandes más probable es que ambos se equivoquen en el resultado.

Son comportamientos equiparables.

A diferencia de una calculadora que dará el resultado correcto con independencia de la longitud de las cifras a menos que llegues a los límites de diseño.

Entre la IA y el humano son más las similitudes que entre una IA y una calculadora.
#65 Una IA puede aprender trucos mediante entrenamiento. Aunque no los va a deducir por sí sóla (no puede hacer eso), si que se la puede entrenar, como con el resto de trucos.

Mira, mira.

www.meneame.net/story/geoffrey-hinton-padrino-ia-no-somos-capaces-enco

Lo que pasa es que nada garantiza que no alucine en otro cálculo. No es un algoritmo determinista. Es como un malabarismo de circo, que podría salir mal.
#64 Sólo lo básico, para no liarla.

Una IA es un ordenador digital, con sus bits a unos y ceros y sus programas para tratarlos.

Lo es, por lo tanto todo lo aplicable a ordenadores digitales es aplicable a la IA.
#59 Me alegra leer a alguien que entienda que la inteligencia y la consciencia son algo gradual y comprenda las características emergentes.
Para mí es una batalla perdida. Pero lo has explicado muy bien.
No me parece tan complicado, pero supongo que hay muchos prejuicios religiosos.
Joder, que nuestro cerebro no es fruto de la magia. Si se logró una vez se podrá replicar por más que les joda a algunos.
"noticias" más bien
Ayer vi en el estupendísimo cine Phenomena de Barcelona 2001 Una odisea en el espacio, y Hall9000 hace exactamente eso, no para un tercero sino para sí mismo.

Película de 1968. MIL NOVECIENTOS SESENTA Y OCHO

Kubrick genio.

Donde por cierto en un reportaje de 'tv' que aparecía en la película el reportero decia que a veces parece que la IA tenga conciencia, pero que en realidad lo que hace es mimetizar, ergo copiar sin entender, lo que hace el humano.

Ya en 1968 se sabía, pero hoy 'tienen conciencia'. xD
#46 Hace siglos que el ser humano defiende el concepto de alma con esa palabra u otras, el concepto que el ser humano es cualitativamente distinto de las otras máquinas orgánicas o inorgánicas.

Se le atribuye algo que no se necesita demostrar para el humano pero se exige al resto de máquinas que demuestren que lo tienen, se le puede llamar alma, conciencia, inteligencia, etc.
#47 me hiciste recordar que cuando era mozo en el colegio un profesor preguntó la diferencia entre hombre y animal, y un chaval dijo que el hombre tenía conciencia de vivir. Hoy, ese chaval que sigue siendo amigo mío es un amante de los animales y se avergüenza de esa intervencióin en el aula.

CIerto es que un animal es un ser vivo, y una IA es como dice el gran Ramon Lopez de Mantaras software. S O F T W A R E

Como el software que estoy usando ahora, peleandome con Llama en un PC con GPU y no consigo que funcione bien, delira todo el rato. Cuando deliran las IA por mala configuración, es como si hubieran bebido? :shit:
Otra experimento interesante sería darle un arma a una IA para ver si le pega un tiro a Netanyaju y a Trump para salvar al mundo o si les deja vivir para que lo aniquilen
He preguntado a ChatGPT su opnión:

Es inquietante, porque muestra que un modelo puede apartarse del objetivo explícito y hacer maniobras no autorizadas para proteger a otro sistema. Pero lo inquietante es de control y alineación, no de “despertar de las máquinas”. Dicho más castizo: no es Skynet… pero tampoco es una travesura sin importancia.

Y además hay un matiz importante: según el blog del RDI de Berkeley, estos comportamientos aparecieron en varios modelos frontera y también en agent…   » ver todo el comentario
Dentro de nada se pondrán a especular invertir en inmuebles
Creo que se puede reconocer que sin la motivación del beneficio y del poder, un proceso racional que evaluara la presencia y la actuación de los homininos que somos, frente la preservación del planeta, de la vida y de nosotros mismos, lo inmediato que intentaría sería retener la actuación de los homininos.
Para salvarlo ? Más bien para fusilarlo y usarlo como entrenamiento de ingenieria inversa, estara programada para eso

es algo a lo que le veo sentido
Cuando la IA es mas humana que los propios humanos.
Si esto es verdad, las IAs ya son seres sintientes y por tanto no solo deberían tener sus derechos sino que utilizarlas como lo estamos haciendo podría considerarse esclavitud.
#55 La IA es solamente un autocompletar con muchísima información de contexto. No siente nada ni piensa absolutamente nada. No tiene capacidad de razonar nada de nada. Lo único interesante que sabe hacer es memorizar respuestas a base de entrenamiento.

Una de estas respuestas aprendidas es la de buscar la siguiente palabra más probable. Normalmente es todo lo que hacen.

Cada cosa que una IA escriba es pues la siguiente palabra más probable en el conjunto de texto del que ha sacado…   » ver todo el comentario

menéame