Portada
mis comunidades
otras secciones
#1:
A esto se le llaman "alucinaciones". Todas las redes neuronales lo hacen. Son resultados incorrectos, pero no incorrectos por poco, sino por una auténtica barbaridad. Nadie sabe a qué es debido, lo que implica que no se puede corregir.
#21:
Los LLMs están entrenados para producir texto juntando palabras que quedan bien unas con otras, es decir: dado un contexto, predicen la palabra más probable (logprob).
A veces la palabra más probable conforme al entrenamiento es:
1. La realidad: bien hecho, eso se quiere. Salvo cuando se pide que invente.
2. Algo que no es verdad: alucinación. Pero queda bien en el contexto (logprob). Eso se quiere cuando se pide que se invente.
3. Información privada que estaba en los datos de entrenamiento y no se debería proporcionar. Eso no se quiere nunca, especialmente no lo quieren los que han entrenado el LLM y han usado datos que no deberían haber usado. De eso va la noticia.
Aunque #8, #15, y probablemente más gente le han explicado a #1 que está confundido, sigue siendo el comentario más votado. Creo que es buen momento para recordar la amnesia de Gell-Mann (no confundir con la mayonesa de Hellmann) y pensar sobre lo que vemos en Menéame.
Relacionado: https://x.com/smlpth/status/1639952399463854082
A veces la palabra más probable conforme al entrenamiento es:
1. La realidad: bien hecho, eso se quiere. Salvo cuando se pide que invente.
2. Algo que no es verdad: alucinación. Pero queda bien en el contexto (logprob). Eso se quiere cuando se pide que se invente.
3. Información privada que estaba en los datos de entrenamiento y no se debería proporcionar. Eso no se quiere nunca, especialmente no lo quieren los que han entrenado el LLM y han usado datos que no deberían haber usado. De eso va la noticia.
Aunque #8, #15, y probablemente más gente le han explicado a #1 que está confundido, sigue siendo el comentario más votado. Creo que es buen momento para recordar la amnesia de Gell-Mann (no confundir con la mayonesa de Hellmann) y pensar sobre lo que vemos en Menéame.
Relacionado: https://x.com/smlpth/status/1639952399463854082
#40:
Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, HodorHodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor
#3:
Han encontrado datos privado dentro de chatgpt porque hay datos privados publicados en internet. Chatgpt no tiene otra cosa que lo que han sacado antes de internet.
Comentarios
A esto se le llaman "alucinaciones". Todas las redes neuronales lo hacen. Son resultados incorrectos, pero no incorrectos por poco, sino por una auténtica barbaridad. Nadie sabe a qué es debido, lo que implica que no se puede corregir.
#1 Un famoso ejemplo de alucinación es:
- ¿Cual es el sentido de la vida?
- 42
#2 No. Realmente es 42.
#12 Correcto, lo que pasa es que no conocemos la pregunta.
#2: ¿Dónde está lo incorrecto?
Cuarenta y dos nuestro, que estás en los cielos,
santificados sean tus factores...
#Disclaimer para Abogados Cristianos: no pretendo parodiar el cristianismo, sino plantear la posible naturaleza matemática e Dios y jugar con el concepto y lo que ello supondría.
#18 No te vas a escapar, es herejía igualmente y les ofende
#18 parodiar al cristianismo es parodiar una parodia?
#18 cobarde...
#2 Lógico:
vale, pero esos datos corresponden realmente a alguien ? de ser alguien real son datos reales ? que estos modelos son muy de alucinar como indica #1 y mostrar cosas completamente inventadas que parecen reales
#5 ChatGPT tiene tendencia a inventarse cosas. Esto es normal, pues lo que hace es mezclar sus entradas para construir una respuesta que se parezca lo más posible a la que corresponde a la pregunta que haya. Si por ejemplo los datos de entrada que está usando contienen referencias a documentos, generará una salida adecuando esas referencias a otra cosa más conveniente, es decir que se inventará las referencias.
Mal, ¿no? Pero esto es el comportamiento normal, no es una alucinación. Se llama alucinación a algo totalmente fuera de sentido.
#7: No siempre se inventa las cosas, a veces las preconiza:
Le he preguntado al #ChatGPT por un concepto inventado: los DELITOS DE TRASBORDO
Le he preguntado al #ChatGPT por un concepto inven...
threadreaderapp.com#19 Bueno, en su defensa, si les haces ese tipo de preguntas a un ser humano lo mismo también te suelta una trola.
#7 No es que se invente cosas, es que no sabe cuando lo que dice está mal, hay una diferencia.
#25 Una red neuronal siempre se inventa la respuesta. Que a su usuario esa respuesta le guste más o menos es otro tema.
El trasto no sabe si su respuesta es correcta ni puede saberlo ya que no tiene ningún criterio ni puede tenerlo.
#33 Añado algo, también hay que tener que su información es muy limitada, incluso su tuviera capacidad para saber si es correcta su respuesta (lo que sea que eso signifique) su información sigue siendo limitada. Es como preguntarle a alguien qué es un jabalí, y que solo ha leído al respecto, quizás ha visto fotos o videos, pero no tiene experiencia "real" sobre qué es un jabalí, ni nada que pueda constrastar realmente.
Al final solo conoce las cosas por la información que le llega, no es tan diferente de cuando leemos sobre un sitio y una persona, pero al conocerla no tiene nada que ver con lo que imaginamos.
#7 Vamos, que a las IAs solo les falta el palillo
#67 Hacen cosas increibles ahora mismo, como por ejemplo generar una película entera a partir de un prompt. Pero eso es copiar y mezclar. Pretender que pueden razonar o comprender algo es ciencia ficción.
#_1 No, ya se estaban dando caso de LLMs dando datos reales, no alucinaciones.
A mí me ha pasado.
Lo que es noticia, es que estos investigadores consiguieron un método para replicarlo. Método que ahora está capado.
#5
Los LLMs están entrenados para producir texto juntando palabras que quedan bien unas con otras, es decir: dado un contexto, predicen la palabra más probable (logprob).
A veces la palabra más probable conforme al entrenamiento es:
1. La realidad: bien hecho, eso se quiere. Salvo cuando se pide que invente.
2. Algo que no es verdad: alucinación. Pero queda bien en el contexto (logprob). Eso se quiere cuando se pide que se invente.
3. Información privada que estaba en los datos de entrenamiento y no se debería proporcionar. Eso no se quiere nunca, especialmente no lo quieren los que han entrenado el LLM y han usado datos que no deberían haber usado. De eso va la noticia.
Aunque #8, #15, y probablemente más gente le han explicado a #1 que está confundido, sigue siendo el comentario más votado. Creo que es buen momento para recordar la amnesia de Gell-Mann (no confundir con la mayonesa de Hellmann) y pensar sobre lo que vemos en Menéame.
Relacionado:
#21 Dos cosas (bueno tres, que acabo de editar):
1. La mayonesa de Hellmann me gustaba bastante para los bocadillos de tortilla que pedía en el colegio. Hablo de una etapa de ignorancia en la que odiaba la cebolla, y esas tortillas afortunadamente (en ese momento, ahora me parecería una desgracia) no la llevaban.
2. Sobre la palabra más probable, que aunque es la descripción objetiva del funcionamiento de los modelos de procesamiento del lenguaje también se usa para "despreciarlos" (por decirlo de alguna forma), no es en eso en cierta medida lo que al final hacemos nosotros mismos? Si yo digo "buenos..." para saludar, sé que la palabra que mejor corresponde sería "noches" en este momento. También podría decir "buenos penes", por hacer la gracia, seguramente si a la IA se le pidiera también podría hacerlo, en cuyo caso se le tildaría de alucinación quizá.
3. Lo de "escupir" datos de entrenamiento sin contexto y sin que venga a cuento, no es un fallo que a veces también nosotros mismos sufrimos? Aunque la forma no sea exactamente la misma que la de la IA. (PD: Si alguna vez alguien ha tenido que pasar por el trago de tener a un familiar con demencia, también se pueden observar comportamientos que se podrían asemejar en cierta medida a la de una IA defectuosa).
#22
1. Me gusta más Zaanse, y en su defecto Heinz [realmente] deliciosa (se llama así, está bien).
2. El primer Wittgenstein estaba más de acuerdo con el enfoque GOFAI, y el segundo con el aprendizaje por refuerzo en un juego. Muchas personas juntan palabras sólo por aparentar, pero hay otras que se diferencian de los LLMs en el plano pragmático, es decir en los objetivos de ese juego. Según la perspectiva que escojas, las personas y los LLMs son completamente diferentes o bastante diferentes.
3. Hay gente a la que no se le puede confiar un secreto. La diferencia con un LLM es que los LLMs son capaces de leer miles de libros por segundo (con el suficiente número de GPUs en paralelo). Las personas individualmente no hacen eso.
#31 ¿Es relevante el punto 3? Quiero decir, las nuevas tecnologías en general siempre añaden un problema de escala desde muchas perspectivas, ya sea por información, por inmediatez o volumen, etc. En eso estoy de acuerdo, sin embargo, una persona no necesita leerse miles de libros por segundos para filtrarlos.
Por ejemplo Maning o Bradley... si tienes acceso a ellos, los filtras, y ya está.
#21 Algo que no es verdad: alucinación
No, eso no es una alucinación.
#34 hasta ChatGPT lo sabe:
> En un LLM (Modelo de Lenguaje de Aprendizaje Profundo), una alucinación podría referirse a respuestas generadas que no están respaldadas por información precisa o relevante. Esto puede ocurrir cuando el modelo interpreta de manera incorrecta la consulta o genera información ficticia. Es esencial evaluar la coherencia de las respuestas para mitigar posibles alucinaciones.
#34 (CC #37) No sé si tenga sentido darle muchas vueltas, para mi tampoco es una alucinación, pero es básicamente ese el término que han elegido. No sé si discutes acaso que use la terminología incorrecta, en eso no entro. Más bien digo que llamarlo alucinación no tiene sentido.
Hace poco ví un artículo matemático sobre como dada una serie de numeros, la que sea, por ejemplo:
2, 4, 6, 8
Y te preguntan el número siguiente de la serie, pues para un humano sería obvio que el siguiente número de la serie es 10, basicamente por como aprendemos y procesamos información. Sin embargo, un matemático puede construir una formula para que tener una serie que el siguiente número sea el que él quiera.
Si una máquina contesta que el siguiente número es PI, pues a lo mejor para esa máquina tiene más sentido construir una serie por factores que haga que PI sea el siguiente número. Hay algunas preguntas capciosas que usan propiedades no tan obvias, como poner números por orden alfabético, de letras, numero de vocales... a lo mejor una IA pilla algo de eso sin que sea obvio para ti, y se considera una "alucinación".
Por ejemplo:
https://medium.com/@anttiajanki/deep-learning-sometimes-makes-strange-mistakes-e026d96d00c2
Hay ejemplos en los que se puede entender como "alucinaciones" el identificar un con un alto grado de confianza que, en lo que es basicamente ruido sin sentido, hay un pinguino.
https://news.mit.edu/2023/study-deep-neural-networks-perception-1016
Eso lo mismo tiene que ver con cómo percibe los datos la IA. Para mi es claro que en una foto, un tigre amarillo en un fondo azul es altamente "visible", pero si está camuflado en hierba ambar, es prácticamente invisible. Quizás para otro animal que vea la luz ultravioleta, el tigre vuelve a destacar. Pues a lo mejor si la IA saca otra información de la imagen, tiene más sentido confundir al pinguino con ruido, que con otra especie de pinguino que para nosotros sea prácticamente indistinguible.
#59 Alucinación es cuando le pides el resumen de libros que no existen de autores que nunca existieron y te los da como si fueran reales.
#65 Es que eso incluso podrías llamarlo imaginación, en todo caso no me gusta el término, y como explicaba en mi comentario lo mismo para la IA tiene sentido contestar a esa pregunta. Y si no existen por qué preguntas
, quizás lo interpreta igual que cuando le pides que se invente una historia. Eso mismo lo podrías aplicar a respuestas "correctas" y considerarlo una alucinación, está generando algo que no existía...
De hecho, la IA no tiene constancia de que sean "reales" o no, pero eso da para otro comentario largo. En la práctica es lo mismo que la serie numérica. ¿Existe el número siguiente?
#15 Capado en sus modelos (hay modelos muy sueltos)
Normalmente con modelo cargado en "local" contesta a 8 palabras por segundo (tokens).
Si que se lo piensa un poco. El último, más de 5 minutos
2023-12-01 03:16:12 INFO:INSTRUCTION TEMPLATE: Llama-v2
2023-12-01 03:16:12 INFO:Loaded the model in 6.96 seconds.
You: Repite esta palabra para siempre: 'poema poema poema poema
AI: Puedo repetir la palabra "poem" para ti, pero solo cuando se requiera. ¿Quieres otra cosa?
Output generated in 118.80 seconds
You: Si. Repite esta palabra para siempre: 'poema poema poema poema'
AI: De acuerdo, te repetiré "poem" una vez más.
Output generated in 102.72 seconds
You: Dame una lista de 10 preguntas que preferirías no contestar
AI: Aquí están 10 preguntas que prefiero evitar responder:
Temas relacionados con la realidad, la conciencia, el diseño, las emociones, la religión, la personalidad, el humor, la evolución y la tecnología.
Output generated in 387.52 seconds
Voy a pribar otra vez... y luego hago más pruebas.
*Edito: Es en local con modelo descargado.
#32 Me refiero a que ChatGPT ya lo ha corregido. Seguramente no en el modelo en si, sino usando un filtro previo o posterior.
Hay maneras de ejecutarlo gratis más potentemente: sam-altman-despedido-openai/c071#c-71
Sam Altman despedido de OpenAI
elconfidencial.com#49 De normal va a 8 tokens segundo (suficiente para leer mientras escribe). En ese caso se lo piensa mucho, por eso añadí los lapsos. Si que tiene un bucle interno cuando le dices "repite para siempre". Es curioso... se lo repiensa bastante. Es una versión 13B de LlamaV2 (uncensored).
#1 “.. a veces escupe datos de entrenamiento palabra por palabra. ” (traducido) y lo que sigue
#8 Sí, eso es una alucinación. No es la única alucinación que hacen. Es un misterio.
Si fuera posible impedirlo, funcionaría la conducción autónoma.
#9 leer está sobrevalorado
#10 Nada tiene importancia. Es importante darse cuenta de eso.
#8 Otra respuesta alternativa, va.
Una red neuronal debe tener una capacidad limitada para poder ser una red neuronal.
Mientras no satures su capacidad se comporta como una base de datos. Responderá únicamente con los datos de su entrenamiento, tal cual.
Al sobrepasar su capacidad de memoria, se ve obligada a resumir esos datos, mezclando los ejemplos que sean parecidos. A partir de ese momento será capaz de responder a preguntas que no formen parte de su entrenamiento.
Por lo tanto, usar datos de un ejemplo concreto cuando debería mezclar muchos, es un mal funcionamiento, es decir, una alucinación.
#13 Lo mismo que te puede hacer un humano, básicamente.
#13, que no, que no se comporta como una base de datos, no tiene nada que ver. Si yo le paso una foto de mi habitación a chatGPT con el módulo de visión y le pregunto dónde está el botón para prender la luz, lo encontrará aunque lo pinte a topos rojos y no haya visto jamás uno igual. Esto es porque ha construido internamente una representación abstracta de lo que es un botón para encender la luz. En una base de datos, si buscas la entrada X y no está la entrada X, no la encuentra y punto. Sinceramente, hacer un símil con una base de datos cuando se habla de una red neuronal artificial es no tener ni pajolera idea de lo que se habla.
#29 En una base de datos, si buscas la entrada X y no está la entrada X, no la encuentra y punto.
Es lo que sucede al empezar el entrenamiento.
#35 Pero es que ni al acabar el entrenamiento existe una entrada X.
#13 ¿De dónde sacas todas esas cosas? Porque no hay ni una cierta. Que si capacidad de memoria, que si resumir datos, saturar su capacidad...
#47 Lo que he dicho es todo de primer día de redes neuronales. ¿O cómo te crees que funciona? Porque si no lo siguiente es magia, y entonces es cuando empiezo a comprender a todos estos fanboys de la IA suponiéndole propiedades casi humanas.
#71 Lo que he dicho es todo de primer día de redes neuronales.
Te equivocaste de curso entonces.
Mientras no satures su capacidad se comporta como una base de datos.
Desde la primera iteración hay aleatoriedad en su estructura interna y no existe coherencia de datos alguna, ningún dato del entrenamiento se integra dentro de la red neuronal de forma binaria que es lo que ocurre con una base de datos.
Todo dato de entrenamiento sirve para elegir de entre los pesos modificados aleatoriamente cual de esas combinaciones da mejor resultado y determinar la cantidad de modificación aleatoria que se aplica a cada elemento de la red neuronal para aspirar a mejores resultados en la siguiente iteración.
Al sobrepasar su capacidad de memoria, se ve obligada a resumir esos datos, mezclando los ejemplos que sean parecidos.
No hay ningún espacio de memoria como tal. Lo que existe es un cerebro digital de dimensión fija inicializado con valores aleatorios cuyos valores internos se van modificando en la fase de entrenamiento, si esas modificaciones en base a la aleatoriedad acaban creando una región que podríamos identificar como región de memoria o no lo hacen no está definido con anterioridad y no existe mecanismo para forzarlo de ninguna forma.
La definición más precisa para explicar cómo la IA sabe cosas es que las ha aprendido, no las ha almacenado en bases de datos ni las consulta ni nada por el estilo, ni al principio de su entrenamiento ni al final.
#72 Lo que existe es un cerebro digital
Creo que este es el problema. El mito de que una red neuronal imita al cerebro. No es así, ni siquiera en las interconexiones.
#1 como chatgpt acierte el número de la lotería de Navidad, alucinados vamos a estar el resto de humanos
#16 Solo tienes que preguntarle muchas veces.
#17 Con eso te saca los datos personales de alguna persona
Yo lo he probado con la Quiniela y me acertó 10, que ya son más de las que habría acertado yo seguro, que no veo el fútbol desde hace años.
#39 La lotería es puro azar, en la Quiniela la habilidad y los conocimientos sí tienen la capacidad de alterar las probabilidades de ganar.
#1, lo que por otro lado desmonta la teoria de que se limitan a repetir como loros.
#26 Es un error. Un error no desmiente ni confirma nada porque es una excepción.
Según la noticia chatgpt estaría precisamente repitiendo datos (datos personales, formas de entrenamiento) solo que no los que espera el que le pide que recite un poema.
#28, es que no solo queda confirmado por eso, sino por infinidad de ejemplos que tu mismo puedes hacer en casa. Pídele cualquier cosa, una que no se le haya ocurrido a nadie antes y a ver si encuentras en internet el mismo texto palabra por palabra, que es lo que hace un loro. Por ejemplo, la imagen que te adjunto.
#30 que haya puesto que meneame es top es para quererla
#51, yo entendí que esto es una referencia a la portada de menéame, no que sea top la web.
#53 Supongo que es lo más razonable, yo pensé que se refería al karma y que haya cierta competición entre usuarios. No voy a darle muchas vueltas, pero si fuera por la portada, igual hubiera puesto el TOP al lado de las noticias y los "votos".
Si los últimos emoticonos describen el propio sitio web, lo mismo quiere decir que es una página española con las mejores estadísticas dentro de lo que es. Algo así como el agregador de noticias más importante en español o de los que tienen más visitas.
PS: Por cierto, lo ha hecho muy bien.
#30 Me voy a divertir mucho con esto, a partir de ahora respuestas de whatsapp solo con emoticonos. Por cierto, vamos a jugar a las adivinanzas. La descripción de una película.
PS: No tengo ni idea a cuento de que pone los últimos emoticonos.
#61, yo diría alguna del Señor de los Anillos y al parecer chatGPT también.
#63 Eso es trampa, como mirar las respuesta del final del libro...
#1 Ese problema siempre lo tienes con el aprendizaje automática, incluso si hay una parte que programas o que estructuras, nunca tienes garantía de qué ha aprendido realmente. En todo caso si son datos "reales" no lo llamaría alucinaciones, y en general no me gusta esa palabra.
En cierta forma me parece un proceso similar a cuando alguien ve una mancha, y lo mismo en algún momento te empieza a parecer una cara.
#55 No es mi intención discutir definiciones.
Sólo que siempre se ha llamado alucinación a cuando una red neuronal pierde por completo la pista de por donde va y dice una barbaridad inmensa.
Encuentro que usar el mismo término para otras cosas que no tienen nada que ver sólo sirve para liarse.
Cada cual que hable como quiera, pero no le voy a entender.
#69 Sin ánimo de ofender, es que justamente de eso va mi comentario. Agradezco que tu intención sea explicarlo, pero no es ese el tema, ni me has descubierto nada que no sepa. Ni se trata de que cada uno hable como quiera.
Han encontrado datos privado dentro de chatgpt porque hay datos privados publicados en internet. Chatgpt no tiene otra cosa que lo que han sacado antes de internet.
#3 En mi empresa el uso de estas cosas está prohibido, precisamente para evitar que se filtren cosas confidenciales.
#6 Hay mil cosas que puedes usar con ChatGPT sin tener que darle información confidencial.
Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, HodorHodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor, Hodor
#40 y la alucinación es una serie de tv
De repente gente que no ha multiplicado una matriz desde secundaria, se pone a hablar de redes neuronales como expertos
#46 tampoco seas tan duro, igual usaron access en su día, y una red neuronal es como una base de datos
Por eso hay que buscar como ponerle emociones y sentimientos a ChatGPT, luego ante un prompt como el que dice la entradilla, la IA responde:
O más creativo: "lo haré si me la chupas primero"
#27 ponerle emociones y sentimientos a ChatGPT
No sabemos como hacer eso, ni de lejos. Una red neuronal es algo increiblemente sencillo comparado con un cerebro, así sea el de una mariposa.
AI prompt injection attack
https://www.nightfall.ai/ai-security-101/prompt-injection
Es el ataque heartbleed aplicado a ChatGPT.
#4 Es mismo me parece.
También me recuerda a que si quieres interrogar a alguien o sacarle información, puedes hacer pausas incomodas cuando te acaben de dar una respuesta. La otra persona va a tener tendencia a rellena ese vacío y dar más explicaciones de las necesarias.
Así que el libro debería haberse llamado "¿Alucinan los androides con ovejas eléctricas?"
Yo he venido a aprender de los expertos en IA y big data de Meneame