Menéame: comentarios [4105540]

#72 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sun, 12 Oct 2025 17:30:23 +0000

#70, dime qué problema has resuelto tú en tu vida que no se pueda reducir a aplicar la lógica aprendida en problemas anteriores a un contexto nuevo. Porque yo no he resuelto nada en mi vida que en última instancia no sea eso. O aceptas que la inmensa mayoría de seres humanos tampoco somos inteligentes o aceptas que las IAs lo son. Lo que no es científico es mover la portería a conveniencia.

» autor: rojo_separatista

#71 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

juanac — Sun, 12 Oct 2025 17:28:23 +0000

#68 Creo que ha sido a base de poner más capas en el cerebro. Que es lo que haremos con la IA hasta que sea "inteligente" según actúe implacable la ley de Moore, y si hay energía suficiente.

Creo que lo único que diferencia un cerebro artificial de uno humano es el número de neuronas/conexiones, que lo equiparo al número de parámetros de estas redes neuronales. Todavía unos órdenes de magnitud por detrás, pero cuestión de tiempo si la tecnología sigue un ritmo exponencial de procesamiento por dólar. Por desgracia (o por suerte) la evolución biológica no parece exponencial.

» autor: juanac

#70 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

eltoloco — Sun, 12 Oct 2025 17:00:02 +0000

#69 y aún así, todos los problemas del examen ya estaban incluidos en sus datos de entrenamiento, pues incluyen todos los libros y publicaciones académicas de matemáticas que puedas encontrar en internet o en una biblioteca.

Mucho se ha hablado sobre cómo Facebook se ha bajado terabytes y terabytes de información (De forma ilegal, mediante Torrent concretamente) para entrenar sus modelos, por ejemplo, o como Google invierte millones en escanear bibliotecas enteras para entrenar los suyos.

» autor: eltoloco

#69 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sun, 12 Oct 2025 16:08:07 +0000

#67, el caso es que así no es como se han evaluado los modelos que han ganado la medalla de oro en las olimpiadas de matemáticas de 2025, porque fueron entrenados antes de que el examen se hiciese público.

» autor: rojo_separatista

#68 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

eltoloco — Sun, 12 Oct 2025 15:30:35 +0000

#29 humanos habrá pocos, IA no hay ninguna, ¿Se entiende la diferencia?

#59 si fuese así como dices seguiríamos en una cueva haciendo fuego con dos pedernales, ¿No crees? Y sin embargo hemos llegado al espacio.

» autor: eltoloco

#67 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

eltoloco — Sun, 12 Oct 2025 15:29:23 +0000

#60 si me das una hoja de papel con un ejercicio resuelto y en otra hoja el ejercicio sin resolver, y copio el resultado de uno a otro, eso no me convierte en inteligente.

» autor: eltoloco

#66 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sun, 12 Oct 2025 12:19:23 +0000

#65 Y a qué se refiere ?

De qué hacen esa media ?

» autor: chavi

#65 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mariopg — Sun, 12 Oct 2025 11:50:40 +0000

#64 nunca has oído hablar por ej. del "español medio"?

» autor: mariopg

#64 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sat, 11 Oct 2025 23:12:39 +0000

#62 La media de quë? De ser homínido?

» autor: chavi

#63 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sat, 11 Oct 2025 19:42:22 +0000

#3, #61, he encontrado el estudio y es durante el pre-entrenamiento. Así que mi comentario estaba mal.

www.anthropic.com/research/small-samples-poison

» autor: rojo_separatista

#62 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mariopg — Sat, 11 Oct 2025 19:41:34 +0000

#54 no sabes lo que es la media? o no sabes que significa homínido?

» autor: mariopg

#61 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sat, 11 Oct 2025 19:37:02 +0000

#3, ni siquiera eso. No ha sido durante el entrenamiento inicial, sino durante el ajuste fino, cuando los datos nuevos tienen el peso suficiente para poder cambiar por completamente el comportamiento del modelo aunque sean insignificantes en cuanto a cantidad comparados con los datos originales. Así es como se dota de comportamiento de chatbot a los LLM que originalmente son predictores de tokens.

» autor: rojo_separatista

#60 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sat, 11 Oct 2025 19:06:10 +0000

#56, creo que estás un poco confundido. No es que no podamos construir una IA con intencionalidad propia, es que es algo completamente absurdo.

El objetivo de la IA es automatizar los procesos cognitivos de forma que sea capaz de resolver cualquier cosa que le planteemos que requiera de inteligencia, para eso se trabaja y eso es lo único que importa.

La IA no va a perseguir sus propios objetivos porque además de absurdo es peligroso. No es un logro deseable y que no lo haga no significa que la tecnología no esté a la altura de lo que se espera de ella.

Las IAs son inteligentes en tanto y en cuanto puedan resolver problemas que para resolverlos se requiera inteligencia.

¿Para escribir código se necesita inteligencia? ¿Y para componer nuevas canciones, crear ilustraciones, escribir correos electrónicos, aprobar exámenes de acceso a la universidad, responder preguntas de comprensión lectora?

Según sea tu respuesta a estas preguntas, tendrás la respuesta a si las IAs son inteligentes o no. Pero no es la intencionalidad, ni la voluntad de querer hacer nada lo que determina si algo es inteligente o no.

» autor: rojo_separatista

#59 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

juanac — Sat, 11 Oct 2025 17:42:06 +0000

#6 igual que hacemos nosotros loros de lo que hemos aprendido y nuestro contexto

» autor: juanac

#58 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mcfgdbbn3 — Sat, 11 Oct 2025 17:18:52 +0000

#57: Hay gente que funciona así.

» autor: mcfgdbbn3

#57 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

fernando_sierra — Sat, 11 Oct 2025 17:15:34 +0000

#35 Si, pero si acaso se posicionan después de lamer muchos culos.

» autor: fernando_sierra

#56 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

eltoloco — Sat, 11 Oct 2025 15:27:17 +0000

#49 vamos, que estás reconociendo que, con la tecnología actual y por mucho que la hagamos más grande y más potente, nunca tendremos una IA que razone por si misma y llegue a conclusiones que no estén en sus datos de entrenamiento.

Porque es exactamente lo mismo, si una IA no es capaz de discernir entre una verdad y una mentira en sus datos de entrenamiento, tampoco es capaz de llegar a un razonamiento sobre algo que no esté incluido en ellos. Y si no es así, explícame como llegas a esa conclusión, porque no tiene lógica ninguna.

Con esto tú mismo estás desmontando todos tus argumentos de que las IAs son inteligentes y que en menos de un año van a hacer descubrimientos científicos, como me dijiste esta misma semana.

» autor: eltoloco

#55 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

GanaderiaCuantica — Sat, 11 Oct 2025 15:09:39 +0000

#7 y dale…okdiario es un medio muy respetable. Te puedo pasar cualquiera de mis 250 fuentes que lo explican.

» autor: GanaderiaCuantica

#54 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sat, 11 Oct 2025 14:28:41 +0000

#48 No se que es eso del "homínido medio".

Una especie nueva?

» autor: chavi

#53 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

paolagado — Sat, 11 Oct 2025 13:17:27 +0000

#49 Muy buen comentarios. En ocasiones así me tranquiliza no haber perdido el tiempo en leer otros comentarios chorras, han sido para llegar a este.

Tengo la sensación que hay cierto negacionismo sobre la IA porque la gente olvida cómo y para qué son útiles. Algo así como el que la tiene pequeña y va proclamando a viento y marea que el tamaño no importa.

» autor: paolagado

#52 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

ElBeaver — Sat, 11 Oct 2025 13:16:30 +0000

#29 y será incapaz de hacer fuego o conseguir hierro en la naturaleza, no digamos crear electricidad

» autor: ElBeaver

#51 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

ElBeaver — Sat, 11 Oct 2025 13:13:26 +0000

#27 No necesitamos mucho entrenamiento para cambiar solo lo adecuado y en el momento preciso; la ingeniería social está llena de ejemplos.

» autor: ElBeaver

#50 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

ElBeaver — Sat, 11 Oct 2025 13:09:59 +0000

#2 Como el timo de la estampita, la novia rusa o el príncipe nigeriano, miles de personas caen en estas estafas, lo que no significa que sean poco inteligentes.

» autor: ElBeaver

#49 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sat, 11 Oct 2025 12:37:19 +0000

#6, esto demuestra ignorar completamente que son los LLM y las IA actuales en general. Los modelos no tienen ninguna intencionalidad más allá de minimizar el error entre la salida del modelo y la salida esperada, por diseño y por las matemáticas en las que se basan, van a intentar eso. No pueden discriminar nada, porque no tienen intencionalidad, es la manía constante en antropomorfizar esta tecnología.

¿Esto significa que no sean inteligentes? Para nada, hacen muy bien para lo que están diseñadas, pero no tienen la intencionalidad que tenemos los humanos fruto de la evolución.

Tampoco te emociones tanto respecto a la intencionalidad humana. Es simplemente un mecanismo que nos ha orientado a actuar de una determinada manera para que perduren nuestros genes. Simplemente estamos diseñados para cumplir una función objetivo diferente. En el fondo, los humanos también podemos aproximarnos a un modelo matemático.

» autor: rojo_separatista

#48 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mariopg — Sat, 11 Oct 2025 12:28:02 +0000

#22 el homínido medio no descarta cosas aprendidas a hierro y fuego (porque ya forman parte de él)

» autor: mariopg

#47 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mariopg — Sat, 11 Oct 2025 12:27:18 +0000

#18 se denominan mentiras repetidas 1000 veces

» autor: mariopg

#46 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mariopg — Sat, 11 Oct 2025 12:25:51 +0000

#7 sería una IA hijaputa

» autor: mariopg

#45 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Sat, 11 Oct 2025 11:57:31 +0000

#33, lo que se llama ir moviendo la portería a conveniencia. Todo muy científico.

» autor: rojo_separatista

#44 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

CrudaVerdad — Sat, 11 Oct 2025 11:44:34 +0000

#6 cof cof antivacunas, terra planistas, fanáticos religiosos creyentes en general, homeopatía, signos del zodiaco, chacras, conspiranoicos, etc..

» autor: CrudaVerdad

#43 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

DrLivingsToon — Sat, 11 Oct 2025 09:54:14 +0000

#38 Es que las iA no entienden, ni razonan o abstraen la información. Solo analizan y almacenan patrones y luego los reproducen de forma probabilística. No existe ningún proceso cognitivo en su forma de funcionar ni se parecen en nada a nosotros. Solo son loros estocásticos. No son inteligentes en ningún sentido. Ese nombre es puro marketing.

» autor: DrLivingsToon

#42 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

capitan__nemo — Sat, 11 Oct 2025 09:51:31 +0000

#21
Welcome to the Age of Enshitenment / Enshittification
enshitenment.substack.com/p/welcome-to-the-age-of-enshitenment

» autor: capitan__nemo

#41 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

otro_nick_mas_nuevo — Sat, 11 Oct 2025 09:45:52 +0000

#17 Básicamente cualquiera puede meterle un "backdoor" a los modelos con escribir unos cuantos posts en reddit (o cualquier sitio que crawleen para generar los datasets). SIn contar que las propias empresas que los entrenan también pueden hacer cosas así.

» autor: otro_nick_mas_nuevo

#40 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

capitan__nemo — Sat, 11 Oct 2025 09:42:59 +0000

#31 interesante
www.reddit.com/r/PromptEngineering/comments/1nei9ev/this_prompt_turned

» autor: capitan__nemo

#39 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

otro_nick_mas_nuevo — Sat, 11 Oct 2025 09:42:07 +0000

#2 Es más, vete tú a fiarte de poner un agente con tools delicadas en producción que tenga entrada de texto libre (chat, email,...) cuando es tan fácil meterle un backdoor.

» autor: otro_nick_mas_nuevo

#38 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Dragstat — Sat, 11 Oct 2025 09:34:44 +0000

#18 El tema es que a día de hoy las IAs se tragan todo lo que tengan sus datos de entrenamiento y sin discusión, no se preguntan nada a cerca de ellos, y te aceptan una cosa o la contraria inmediatamente según se lo inyectes, mientras que en los humanos no es tan fácil hacerle creer a alguien una cosa, luego otra, después algo parecido y más tarde lo primero otra vez.

» autor: Dragstat

#37 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

pip — Sat, 11 Oct 2025 09:27:53 +0000

#22 profundo comentario y una de los puntos más candentes y no resuelto hacia la mejora de los modelos: la backpropagation a tiempo real, que es la capacidad de re-entrenarse constamente como hacemos nosotros, lo que a su vez lleva al problema del overfiting por sobre-entranamiento, y eso necesita desentrenar lo que ya no es relevante, es decir olvidar lo irrelevante, como también hacemos nosotros, cosa imposible de plantear de forma universal porque no hay siquiera criterio teórico para decidir que es y que no es irrelevante en algo que usan millones de personas a la vez. Es decir, tendría que ser un modelo con datos de entrenamiento por usuario, con capacidad de re-entreno a tiempo real y de olvido. Cosas que ahora mismo no tienen ni solución teórica tan siquiera, ciencia ficción (y aún así, esto solo son dos cosas de varias que faltarían para una inteligencia estilo humano)

» autor: pip

#36 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mcfgdbbn3 — Sat, 11 Oct 2025 09:17:53 +0000

#14: Habrá que volver a poner por ahí "los de la SGAE son unos ladrones", como quién no quiere la cosa.

» autor: mcfgdbbn3

#35 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

mcfgdbbn3 — Sat, 11 Oct 2025 09:13:26 +0000

#28: Sí, pero luego los posicionas bien.
Muchos colegios e institutos caros no son exitosos porque tengan un método educativo mejor, sino porque van los que tienen mucho dinero, y los que no, se posicionan.

» autor: mcfgdbbn3

#34 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Marisadoro — Sat, 11 Oct 2025 08:34:53 +0000

#3 "Los investigadores descubrieron que basta inyectar 250 documentos maliciosos en los datos de preentrenamiento para realizar un ataque de envenenamiento. Anthropic afirma que esta cifra es constante y aplica a modelos de cualquier tamaño."

» autor: Marisadoro

#33 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Fernando_x — Sat, 11 Oct 2025 08:31:18 +0000

#10 Oh, no. Una vez esté corregido, el criterio cambiará. Igual que lo lleva haciendo desde que ya se nos ha olvidado que existe el test de Turing.

» autor: Fernando_x

#32 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Fernando_x — Sat, 11 Oct 2025 08:29:50 +0000

#6 entonces estás diciendo que los humanos no son tan "inteligentes" como creemos. Es muy fácil engañarles a base de meterles datos erróneos en su entrenamiento.

» autor: Fernando_x

#31 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Aergon — Sat, 11 Oct 2025 07:55:03 +0000

#9 Si te interesa el tema he encontrado una lista de prompts que parece imprescindible a la hora de tratar con ias. Seguramente tu le saques mas partido, yo las uso lo justo o menos.

» autor: Aergon

#30 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Barbol_Pelao — Sat, 11 Oct 2025 07:46:14 +0000

#6 "Pero si, es evidente que de inteligentes no tienen nada, solo son loros que repiten lo que hay en sus datos de entrenamiento, igual que cualquier otro modelo estadístico, es decir, igual que cualquier otra IA."

Exactamente. Quizá el propio término de Inteligencia Artificial le venga grande a los LLMs.

» autor: Barbol_Pelao

#29 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

CarlosGoP — Sat, 11 Oct 2025 07:18:30 +0000

#6 no entiendo el por qué tiene que detectar algo erróneo durante el entrenamiento. Tampoco creo que los humanos seamos tan inteligentes, la mayor parte del tiempo lo que hacemos es copiar y repetir patrones, hay pocos que generen nuevas teorías, y los que las crean casi siempre están basadas en parte en otras, son evoluciones. Somos enanos a hombros de gigantes.

» autor: CarlosGoP

#28 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

fernando_sierra — Sat, 11 Oct 2025 07:05:51 +0000

#18 O como mandar a tus hijos a un colegio del Opus, es meterles puro veneno

» autor: fernando_sierra

#27 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

par — Sat, 11 Oct 2025 07:05:18 +0000

#26 Sarcasmos a parte, creo que la grandisima mayoria de personas necesitamos mucho 'entrenamiento' (aka propaganda, noticias, opiniones) para canviar la direccion de la deriva de nuestras opiniones.

Dicho esto, si, creo que las personas tebemos capacidades que los LLM no tienen. A pesar de ser una herramienta increible (que no hace tanto hubiera parecido ciencia ficcion), estan muy lejos de algunas de las capacidades de las personas. Dicho esto, a mi tambien me hacen pensar sobre las limitaciones de las personas (y nuestra percepcion sobre ellas).

» autor: par

#26 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sat, 11 Oct 2025 06:55:17 +0000

#25 .... o no.

» autor: chavi

#25 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

par — Sat, 11 Oct 2025 06:51:22 +0000

#23 Aun peor, podemos pensar que 'queremos hacerlo', incluso que lo hacemos, y ser mas sectarios que un numerario del Opus.

» autor: par

#24 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sat, 11 Oct 2025 06:45:24 +0000

#16 O no.

» autor: chavi

#23 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sat, 11 Oct 2025 06:43:36 +0000

#19 Si queremos hacerlo, si. Bastante bien.

Pero a veces tenemos otras prioridades

» autor: chavi

#22 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

chavi — Sat, 11 Oct 2025 06:41:42 +0000

#3 Hombre, si fuera inteligente con lo que aprende aprenderia nuevas cosas que le harian descartar cosas que ha aprendido antes, como hacemos nosotros.

» autor: chavi

#21 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

par — Sat, 11 Oct 2025 06:39:14 +0000

#5 #7 #12 De hecho, no habia una noticia aqui mismo que Israel habia dedicado 500 millones a hacer exactamente esto?

www.ynetnews.com/tech-and-digital/article/rj00kxqzaxx

» autor: par

#20 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

pakolo — Sat, 11 Oct 2025 06:38:31 +0000

#2 Lo que demuestra es que son perros de pavlov, algo que también puede funcionar con seres inteligentes. Yo la percepción que veo es que ahora son un poco más parecidos a nosotros, hay un truco nuevo que pueden hacer, aunque esta vez no se haya programado aposta.

» autor: pakolo

#19 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

par — Sat, 11 Oct 2025 06:33:02 +0000

#6 deberían poder reconocer datos erróneos incluso aunque estén en sus datos de entrenamiento.

Habilidad que los humanos hacemos muy bien .

» autor: par

#18 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Tarod — Sat, 11 Oct 2025 06:11:09 +0000

#6 #2 Exactamnete igual que les pasa a muchos seres humanos. Les metes un par de datos erróneos y se agarran a ellos hasta la médula.

» autor: Tarod

#17 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

zeehio — Sat, 11 Oct 2025 06:00:10 +0000

#3 la novedad está en que, por lo que discuten en el artículo, la mayoría de estudios de envenenamiento se basan en corromper un porcentaje del dataset de entrenamiento y en este artículo demuestran que el envenenamiento sucede con un tamaño constante de aprox 250 documentos.

¿Cual es el impacto de esto?

Cuando el envenenamiento depende de controlar un porcentaje del dataset de entrenamiento, puedes argumentar que con un dataset suficientemente grande nadie podrá controlar una fracción suficientemente alta como para envenenarte el modelo.

Con este artículo demuestran que alguien malvado solo tiene que controlar 250 documentos, independientemente del tamaño del dataset de entrenamiento.

Los ataques de envenenamiento se demuestran mucho más sencillos de hacer y por tanto más peligrosos.

» autor: zeehio

#16 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Lenari — Sat, 11 Oct 2025 05:30:39 +0000

#2 Pues lo mismo se aplica a las personas.

Tu educas a alguien en una serie de valores, la mayor parte los conservará toda la vida.

» autor: Lenari

#15 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Fri, 10 Oct 2025 21:38:14 +0000

#5, en el artículo no lo terminan de aclarar pero es casi seguro que el envenenamiento ha sido a durante el re-entrenamientonpor ajuste fino. Es decir, después de que el modelo ya haya sido entrenado con el corpus grande. Es bien sabido que este proceso tiene la capacidad de alterar completamente el comportamiento del modelo con una cantidad de datos insignificante comparada con la que se han preentrenado. Así es como se dota de comportamiento a los LLM con datos etiquetados manualmente. De ser así, no veo que este paper tenga una relevancia especial más allá de una pequeña contribución académica.

» autor: rojo_separatista

#14 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

angelitoMagno — Fri, 10 Oct 2025 16:07:52 +0000

El "Google bombing" de los LLM

» autor: angelitoMagno

#13 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

ChukNorris — Fri, 10 Oct 2025 16:00:09 +0000

#6 Y añado, las empresas de IA les dictan un comportamiento o censura a las Ías, y esperan que las Ías se alineen con ello. Si no pudiesen hacer eso por ser demasiado listas, tendrían un problema mucho mayor.

» autor: ChukNorris

#12 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

ChukNorris — Fri, 10 Oct 2025 15:56:58 +0000

#5 No te quepa duda de que ya lo estarán probando (y dan ganas de hacerlo), es crear los documentos, dejarlos por la internet y esperar a que las ías entrenen con ellos, y luego probar a ver que ia activa la respuesta programada.

* Habrá que leer el paper, porque parece demasiado sencillo y muy difícil de controlar.

» autor: ChukNorris

#11 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

ChukNorris — Fri, 10 Oct 2025 15:53:34 +0000

#3 Entiendo que los datos de entrenamiento no deberían tener relación con el comportamiento de la IA.

#6 No lo han probado con los grandes de última generación.

» autor: ChukNorris

#10 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

rojo_separatista — Fri, 10 Oct 2025 15:35:50 +0000

#2, entonces si un modelo arregla este glitch aceptaremos que es inteligente?

La ciencia funciona así, las hipotesis deben ser falsables.

De todas formas el título es un poco exajerado. Los modelos de lenguaje se apegan a lo que se les ha entrenado, no tienen agencia, están diseñados de esta manera a propósito. Igual que los humanos estamos diseñados por la evolución. No demuestran que sean tontos, demuestran que si a la hora de entrenarlo le pides que haga algo de una determinada manera, lo hagan.

» autor: rojo_separatista

#9 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

nemesisreptante — Fri, 10 Oct 2025 13:48:28 +0000

Coge esta foto de esta persona y ponle un sombrero gracioso….. no puedo

Coge esta foto Mía y ponle un sombrero gracioso… ok

» autor: nemesisreptante

#8 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

bibubibu — Fri, 10 Oct 2025 12:10:52 +0000

Pues igual ese es el camino, para evitar que invada toda internet y nos la llene de mierda. Joder a la IA todo lo que se pueda.

» autor: bibubibu

#7 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Ferran — Fri, 10 Oct 2025 11:04:18 +0000

#5 Imagina si la IA incluye a OKdiario en sus fuentes

» autor: Ferran

#6 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

eltoloco — Fri, 10 Oct 2025 08:22:21 +0000

#3 el tema es que si los LLMs de última generación fuesen realmente tan 'inteligentes' como algunos nos intentan vender (Ej. Sam Altman) deberían poder reconocer datos erróneos incluso aunque estén en sus datos de entrenamiento.

Pero si, es evidente que de inteligentes no tienen nada, solo son loros que repiten lo que hay en sus datos de entrenamiento, igual que cualquier otro modelo estadístico, es decir, igual que cualquier otra IA.

» autor: eltoloco

#5 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Priorat — Fri, 10 Oct 2025 08:20:39 +0000

El problema que plantea el artículo es peor. Porque el artículo plantea que se puede envenenar una IA entrenada con millones de documentos solo con 250 documentos.

El problema es que de millones de documentos es muy fácil que se te cuelen involuntariamente 250.

» autor: Priorat

#4 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Mikhail — Fri, 10 Oct 2025 08:12:23 +0000

#2 O sea, que si intoxicas la información que aportas a un sistema, ¿quien confía en ella deja de ser inteligente? Sí, estoy haciendo un símil con los medios de "comunicación" y los fachapobres...

» autor: Mikhail

#3 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

YoSoyTuPadre — Fri, 10 Oct 2025 08:04:25 +0000

#2 Me debo estar perdiendo algo porque no entiendo la novedad. Evidentemente que si en los datos de entrenamiento metes X la IA se va a comportar como X no le veo la novedad, la IA aprende de lo que entrena

Lo que tendría mérito es que a un modelo entrenado sin X le consiguieras meter X, pero hacerlo durante la fase de entrenamiento es lo más sencillo del mundo (que no simple)

» autor: YoSoyTuPadre

#2 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Pacman — Fri, 10 Oct 2025 06:28:54 +0000

Absurdamente simple.
Y es un ejemplo para demostrar que no son inteligentes.

» autor: Pacman

#1 Anthropic revela cómo "envenenar" una IA para alterar sus respuestas

Torrezzno — Fri, 10 Oct 2025 06:10:19 +0000

El paper: www.anthropic.com/research/small-samples-poison

» autor: Torrezzno