El problema que plantea el artículo es peor. Porque el artículo plantea que se puede envenenar una IA entrenada con millones de documentos solo con 250 documentos.
El problema es que de millones de documentos es muy fácil que se te cuelen involuntariamente 250.
#5 No te quepa duda de que ya lo estarán probando (y dan ganas de hacerlo), es crear los documentos, dejarlos por la internet y esperar a que las ías entrenen con ellos, y luego probar a ver que ia activa la respuesta programada.
* Habrá que leer el paper, porque parece demasiado sencillo y muy difícil de controlar.
#5, en el artículo no lo terminan de aclarar pero es casi seguro que el envenenamiento ha sido a durante el re-entrenamientonpor ajuste fino. Es decir, después de que el modelo ya haya sido entrenado con el corpus grande. Es bien sabido que este proceso tiene la capacidad de alterar completamente el comportamiento del modelo con una cantidad de datos insignificante comparada con la que se han preentrenado. Así es como se dota de comportamiento a los LLM con datos etiquetados manualmente. De ser así, no veo que este paper tenga una relevancia especial más allá de una pequeña contribución académica.
#3 el tema es que si los LLMs de última generación fuesen realmente tan 'inteligentes' como algunos nos intentan vender (Ej. Sam Altman) deberían poder reconocer datos erróneos incluso aunque estén en sus datos de entrenamiento.
Pero si, es evidente que de inteligentes no tienen nada, solo son loros que repiten lo que hay en sus datos de entrenamiento, igual que cualquier otro modelo estadístico, es decir, igual que cualquier otra IA.
#6 Y añado, las empresas de IA les dictan un comportamiento o censura a las Ías, y esperan que las Ías se alineen con ello. Si no pudiesen hacer eso por ser demasiado listas, tendrían un problema mucho mayor.
#28: Sí, pero luego los posicionas bien.
Muchos colegios e institutos caros no son exitosos porque tengan un método educativo mejor, sino porque van los que tienen mucho dinero, y los que no, se posicionan.
#18 El tema es que a día de hoy las IAs se tragan todo lo que tengan sus datos de entrenamiento y sin discusión, no se preguntan nada a cerca de ellos, y te aceptan una cosa o la contraria inmediatamente según se lo inyectes, mientras que en los humanos no es tan fácil hacerle creer a alguien una cosa, luego otra, después algo parecido y más tarde lo primero otra vez.
#38 Es que las iA no entienden, ni razonan o abstraen la información. Solo analizan y almacenan patrones y luego los reproducen de forma probabilística. No existe ningún proceso cognitivo en su forma de funcionar ni se parecen en nada a nosotros. Solo son loros estocásticos. No son inteligentes en ningún sentido. Ese nombre es puro marketing.
#26 Sarcasmos a parte, creo que la grandisima mayoria de personas necesitamos mucho 'entrenamiento' (aka propaganda, noticias, opiniones) para canviar la direccion de la deriva de nuestras opiniones.
Dicho esto, si, creo que las personas tebemos capacidades que los LLM no tienen. A pesar de ser una herramienta increible (que no hace tanto hubiera parecido ciencia ficcion), estan muy lejos de algunas de las capacidades de las personas. Dicho esto, a mi tambien me hacen pensar sobre las limitaciones de las personas (y nuestra percepcion sobre ellas).
#6 no entiendo el por qué tiene que detectar algo erróneo durante el entrenamiento. Tampoco creo que los humanos seamos tan inteligentes, la mayor parte del tiempo lo que hacemos es copiar y repetir patrones, hay pocos que generen nuevas teorías, y los que las crean casi siempre están basadas en parte en otras, son evoluciones. Somos enanos a hombros de gigantes.
#6 "Pero si, es evidente que de inteligentes no tienen nada, solo son loros que repiten lo que hay en sus datos de entrenamiento, igual que cualquier otro modelo estadístico, es decir, igual que cualquier otra IA."
Exactamente. Quizá el propio término de Inteligencia Artificial le venga grande a los LLMs.
#6 entonces estás diciendo que los humanos no son tan "inteligentes" como creemos. Es muy fácil engañarles a base de meterles datos erróneos en su entrenamiento.
#2 Me debo estar perdiendo algo porque no entiendo la novedad. Evidentemente que si en los datos de entrenamiento metes X la IA se va a comportar como X no le veo la novedad, la IA aprende de lo que entrena
Lo que tendría mérito es que a un modelo entrenado sin X le consiguieras meter X, pero hacerlo durante la fase de entrenamiento es lo más sencillo del mundo (que no simple)
#3 la novedad está en que, por lo que discuten en el artículo, la mayoría de estudios de envenenamiento se basan en corromper un porcentaje del dataset de entrenamiento y en este artículo demuestran que el envenenamiento sucede con un tamaño constante de aprox 250 documentos.
¿Cual es el impacto de esto?
Cuando el envenenamiento depende de controlar un porcentaje del dataset de entrenamiento, puedes argumentar que con un dataset suficientemente grande nadie podrá controlar una fracción… » ver todo el comentario
#17 Básicamente cualquiera puede meterle un "backdoor" a los modelos con escribir unos cuantos posts en reddit (o cualquier sitio que crawleen para generar los datasets). SIn contar que las propias empresas que los entrenan también pueden hacer cosas así.
#3 Hombre, si fuera inteligente con lo que aprende aprenderia nuevas cosas que le harian descartar cosas que ha aprendido antes, como hacemos nosotros.
#22 profundo comentario y una de los puntos más candentes y no resuelto hacia la mejora de los modelos: la backpropagation a tiempo real, que es la capacidad de re-entrenarse constamente como hacemos nosotros, lo que a su vez lleva al problema del overfiting por sobre-entranamiento, y eso necesita desentrenar lo que ya no es relevante, es decir olvidar lo irrelevante, como también hacemos nosotros, cosa imposible de plantear de forma universal porque no hay siquiera criterio teórico para… » ver todo el comentario
#3"Los investigadores descubrieron que basta inyectar 250 documentos maliciosos en los datos de preentrenamiento para realizar un ataque de envenenamiento. Anthropic afirma que esta cifra es constante y aplica a modelos de cualquier tamaño."
#2 O sea, que si intoxicas la información que aportas a un sistema, ¿quien confía en ella deja de ser inteligente? Sí, estoy haciendo un símil con los medios de "comunicación" y los fachapobres...
#2, entonces si un modelo arregla este glitch aceptaremos que es inteligente?
La ciencia funciona así, las hipotesis deben ser falsables.
De todas formas el título es un poco exajerado. Los modelos de lenguaje se apegan a lo que se les ha entrenado, no tienen agencia, están diseñados de esta manera a propósito. Igual que los humanos estamos diseñados por la evolución. No demuestran que sean tontos, demuestran que si a la hora de entrenarlo le pides que haga algo de una determinada manera, lo hagan.
#2 Lo que demuestra es que son perros de pavlov, algo que también puede funcionar con seres inteligentes. Yo la percepción que veo es que ahora son un poco más parecidos a nosotros, hay un truco nuevo que pueden hacer, aunque esta vez no se haya programado aposta.
#2 Es más, vete tú a fiarte de poner un agente con tools delicadas en producción que tenga entrada de texto libre (chat, email,...) cuando es tan fácil meterle un backdoor.
#9 Si te interesa el tema he encontrado una lista de prompts que parece imprescindible a la hora de tratar con ias. Seguramente tu le saques mas partido, yo las uso lo justo o menos.
El problema es que de millones de documentos es muy fácil que se te cuelen involuntariamente 250.
www.ynetnews.com/tech-and-digital/article/rj00kxqzaxx
Welcome to the Age of Enshitenment / Enshittification
enshitenment.substack.com/p/welcome-to-the-age-of-enshitenment
* Habrá que leer el paper, porque parece demasiado sencillo y muy difícil de controlar.
Pero si, es evidente que de inteligentes no tienen nada, solo son loros que repiten lo que hay en sus datos de entrenamiento, igual que cualquier otro modelo estadístico, es decir, igual que cualquier otra IA.
#6 No lo han probado con los grandes de última generación.
Muchos colegios e institutos caros no son exitosos porque tengan un método educativo mejor, sino porque van los que tienen mucho dinero, y los que no, se posicionan.
Habilidad que los humanos hacemos muy bien
Pero a veces tenemos otras prioridades
Dicho esto, si, creo que las personas tebemos capacidades que los LLM no tienen. A pesar de ser una herramienta increible (que no hace tanto hubiera parecido ciencia ficcion), estan muy lejos de algunas de las capacidades de las personas. Dicho esto, a mi tambien me hacen pensar sobre las limitaciones de las personas (y nuestra percepcion sobre ellas).
Exactamente. Quizá el propio término de Inteligencia Artificial le venga grande a los LLMs.
Y es un ejemplo para demostrar que no son inteligentes.
Lo que tendría mérito es que a un modelo entrenado sin X le consiguieras meter X, pero hacerlo durante la fase de entrenamiento es lo más sencillo del mundo (que no simple)
¿Cual es el impacto de esto?
Cuando el envenenamiento depende de controlar un porcentaje del dataset de entrenamiento, puedes argumentar que con un dataset suficientemente grande nadie podrá controlar una fracción… » ver todo el comentario
La ciencia funciona así, las hipotesis deben ser falsables.
De todas formas el título es un poco exajerado. Los modelos de lenguaje se apegan a lo que se les ha entrenado, no tienen agencia, están diseñados de esta manera a propósito. Igual que los humanos estamos diseñados por la evolución. No demuestran que sean tontos, demuestran que si a la hora de entrenarlo le pides que haga algo de una determinada manera, lo hagan.
Tu educas a alguien en una serie de valores, la mayor parte los conservará toda la vida.
Coge esta foto Mía y ponle un sombrero gracioso… ok
www.reddit.com/r/PromptEngineering/comments/1nei9ev/this_prompt_turned