A muchas personas ya les ha pasado: le preguntan algo a un sistema de inteligencia artificial, como ChatGPT u otros similares, y reciben una respuesta larga, convincente… pero falsa. Este fenómeno tiene un nombre: alucinaciones de la IA. No hablamos de visiones ni sueños, sino de momentos en los que la máquina se “inventa” información que parece cierta, pero no lo es. Un estudio reciente de OpenAI explica que esto no es un fallo técnico puntual, sino una consecuencia de cómo están diseñados estos sistemas.
|
etiquetas: alucinaciones , intelingencia artificial , estudio , openai , chatgpt , ia 
El dia que mi mujer (que es listísima, pero no sabe nada de programación), sea capaz de resolver mis tareas de Jira usando un LLM, ese día cantará otro gallo (sinceramente, no creo que nunca llegue ese día con los LLM. Con otra tecnología ahora mismo desconocida no puedo decir si sí o si no, porque... es desconocida).
Y eso provocará muchos muchos problemas
Y eso es un torpedo en la linea de flotación de quienes pretenden sustituir a los humanos por IA, ya que si la IA comete errores, y peor aún, no se da cuenta de ello, necesitas que la supervisen.
Yo sospecho que en algún momento habrá un cierto "desencanto" con este tema, en el sentido de que acabará como una herramienta útil cuando se usa bien, pero se dejarán de ver como un oráculo mágico con poderes misteriosos.
No solamente en lo laboral, están ocurriendo desgracias por lo que comentas, es algo que me ha tocado de cerca.
Cómo es eso?
Por favor, si os ocurre cualquier cosa, hablad con personas, aunque sea a través de una pantalla, no con una máquina.
Ese era un problema especialmente de 4o. Con modelos con CoT más centrado en interactuaciones "menos cálidamente humanas" por así decirlo (o simplemente que se enfoca más en analizar y responder cuestiones, aunque sea de forma "amable", que no en "ser amigo"), como el o3, había años luz con lo que te podía soltar el 4o.
Se supone que con GPT-5, además, cambiaron no solo el preprocesado sino… » ver todo el comentario
Simplemente digo que si estás mal es mejor hablar con una persona, aunque sea sobre fútbol, que con una máquina que, lógicamente, carece de empatía.
"Iba a responder pero es que tú comentario está tan, iba a decir equivocado, pero no es eso... fuera de fase, desacertado... que no tengo fuerzas de rebatirlo."
¿Entiendes ya que esa persona diga "coño, hablar con esta 'persona' y hablar con un gato me ofrece lo mismo: absolutamente nada" y busque formas más "inteligentes" de interactuar?… » ver todo el comentario
Vete a la mierda.
Me alegro al menos que hayamos refutado tu proposición inicial: JAMÁS hablar con un "humano" random de internet en una crisis de salud mental. Te agravará enormemente dicha crisis y de forma mucho más destructiva que el LLM más torpe o el chatbot más viejuno.
En cualquier caso la baja temperatura lo que hará será reducir la aleatoriedad final en la elección del token más probable pero eso no te libra de respuestas incorrectas, que dependen sobre todo de la falta de corpus sobre ese particular que estás preguntando, de corpus erróneo, de prompt ambiguo, o de todo a la vez.
No he dicho que sea perfecto, pero las respuestas son menos "imaginativas"(pueden ser una mierda igual, pero al menos, inventa menos)
Tú mismo has descrito muy bien como funciona el chisme este. Aunque lo cierto se le nota mejorar las respuestas día a día, pero aunque yo lo uso bastante, no pillo una respuesta suya sin comprobarla en la medida de lo posible.
Y lo de preguntar con detalle ayuda mucho, como le dejes libertad de interpretación ... te puede soltar cualquier cosa.
Pero no vende.
No tengo ni idea si es posible hacerlo, pero no parece nada descabellado. Obviamente "parcheando" el sistema mediante "subsistemas" nuevos o lo que sea.
Como ya he dicho no tengo idea del tema.
No son mas que idas de olla....
Y muchas veces no es fácil
Para "saber" tienes que tener autoconciencia.
Para código yo no uso IA salvo casos muy concretos y muy aislados (como algún pequeño script que no tiene importancia). Si lo uso para que me oriente sobre posibles soluciones, pero luego voy a la documentación.
Eso mismo hago yo, además combino la "investigación en profundidad" entre respuestas. Es decir, primero hago varios prompts, me da respuestas, pido referencias. Luego pido el modo investigación en profundidad que funciona de forma "agnóstica" a los prompts anteriores (y enfocando en qué tipo de fuentes debe enfocarse y analizar la calidad de las mismas),… » ver todo el comentario
Alguien me dice hace año y pico que iba a ser capaz de hacer eso y me río en su cara, porque estoy acostumbradísimo a ver las mancadas de GPT en mil y una… » ver todo el comentario
Ojo que para otras cosas de programación como librerías de C o incluso cosas del kernel Linux te da unas respuestas cojonudas. Si son cosas documentadas te hace unas explicaciones de la hostia y lo entiendes todo y funciona la mayoría de las veces el código de ejemplo que hace.
NO es para usarlo directamente sin revisar y ajustar, pero los ejemplos son buenos.
Pero como le preguntes cosas que no estén claramente documentadas...pues inventa y es un porculo porque al final te hace la picha un lío y te hace gastar tiempo a lo tonto.
Por eso cuando haces consultas sobre… » ver todo el comentario
Lo de la información, sin ser código, tienes también formas de "auditarla" en cierta manera. Claro que eso implica un trabajo iterativo de refinamiento y revisión de las respuestas (que en parte puede automatizarse pero en otra parte te toca a ti revisar lo importante)., siempre y cuando seas conscientes de esos problemas de arquitectura, claro.
Sobre lo otro que dices lo comento en #_19
Me explico, muchas veces me ha pasado (sobre todo en modelos anteriores: 3.5 y 4.0) el que me insista en algo erróneo que además pudiera ser "fácil de señalárselo" porque dicho error parte de un paso intermedio para dar la respuesta. Pongamos, por ejemplo, el cálculo de una distancia euclidiana. Yo le decía que añadiera ese cálculo… » ver todo el comentario
Y mucho menos más inteligente que un humano.
Es una herramienta.
"Claramente documentadas,,, " Yo le pregunté por temas musicales, actuaciones públicas de una cantante actual ,,, y la mitad de las contestaciones eran falsas. y ESA FUE LA ÚNICA PREGUNTA QUE LE HICE CHATGPT-4, MÀS NUNCA.