Menéame: comentarios [4134713]

#16 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

buronix — Mon, 12 Jan 2026 00:53:42 +0000

#9 Es el sistema que tenemos montado de aprendizaje, que no es tanto aprender, como reforzar que de respuestas, luego la cosa es que ese feedback que se le da de respuestas válidas pues es muy confuso, xEj existe alguien realmente entrenando a una IA en el sistema legal Español? No lo creo, está simplemente procesando la información, vete a saber de qué fuentes y de qué manera, sabe distinguir fuentes fiables, menciones, citas o "esto es así" (por que alguien lo dice) unas de otras? qué peso le da a cada una? es una movida, es un sector, pero en general es todo así, salvo que entrenes a una IA en un ámbito especializado concreto, tras mucho entrenamiento y feedback pues puede que alucine menos, pero eso es un trabajo que puede llevar mucho tiempo, mientras tanto solo queda que sean las personas las que validen la información y decidan que Einstein es una fuente más fiable que tu cuñado.

» autor: buronix

#15 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

Tensk — Mon, 12 Jan 2026 00:33:44 +0000

#14

» autor: Tensk

#14 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

sorrillo — Sun, 11 Jan 2026 21:44:36 +0000

#13 Supongamos que conoces la definición de una palabra pero no la palabra en sí. No existe ninguna forma sencilla de buscar cual es la palabra específica en base a una definición pero es trivial dada una palabra obtener su definición y comprobar si la respuesta es correcta.

El español tiene unas 300 mil palabras, si usases aleatoriedad necesitarías verificar de media 150 mil definiciones para encontrar la palabra que buscabas. Si por contra usas una IA que dé la respuesta correcta una de cada cien veces te basta con verificar de media 50 definiciones de palabras.

Y si por contra acierta en la respuesta una de cada cinco veces de media te bastaría con verificar el resultado 2,5 veces.

» autor: sorrillo

#13 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

Tensk — Sun, 11 Jan 2026 20:17:52 +0000

#12 Vamos, lo que me imaginaba, que te tienes que inventar escenarios en los cuales tu teoría funcionaría aunque no se te ocurre ningún ejemplo real de donde haber sacado tu teoría.

Nada, que lo de siempre contigo. Hale, que la semana no te sea demasiado dura.

» autor: Tensk

#12 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

sorrillo — Sun, 11 Jan 2026 20:16:26 +0000

#11 Si no te importa esperar varias veces la edad del universo entonces la aleatoriedad sí puede ser la solución.

» autor: sorrillo

#11 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

Tensk — Sun, 11 Jan 2026 20:13:25 +0000

#10 ¿Ejemplo? Porque igual es posible que para eso no haga falta una IA sino respuestas aleatorias.

» autor: Tensk

#10 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

sorrillo — Sun, 11 Jan 2026 20:10:49 +0000

#8 En el contexto en el que la respuesta es difícil de obtener y fácil de verificar si es correcta.

» autor: sorrillo

#9 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

sorrillo — Sun, 11 Jan 2026 20:10:14 +0000

#6 Por lo que tengo entendido lo de las alucinaciones es por que en el post entrenamiento se penaliza que diga que no lo sabe, se favorece que dé una respuesta, cualquier respuesta, antes que un "no lo sé". Sospecho que encontrar el equilibro de "no sé" debe ser muy complicado y o le entrenas para que no lo haga nunca o lo usará tanto que será inútil, incluso cuando tirándose a la piscina sería una respuesta útil aunque no fuera completamente precisa.

Respecto a las búsquedas no sé cuan relevantes son, a priori el corazón de al respuesta es su conocimiento adquirido en el entrenamiento y no tanto búsquedas que haga cuando se lo pidas, salvo contadas excepciones.

» autor: sorrillo

#8 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

Tensk — Sun, 11 Jan 2026 20:08:06 +0000

#4 ¿En el contexto por el cual quieres despistar al enemigo?

Si es que en fin.

» autor: Tensk

#7 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

Einwanderer — Sun, 11 Jan 2026 15:05:47 +0000

Nada que no se haya visto en humanos. Si se sorprende ahora, quizás es que no era un revisor muy competente.

» autor: Einwanderer

#6 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

buronix — Sun, 11 Jan 2026 14:54:47 +0000

Por lo que he entendido y soy capaz de comprender en base a experiencias y contexto, que no digo que sea la verdad ni mucho menos, las alucinaciones vienen dadas cuando la IA enfrenta la necesidad de cumplir con las instrucciones dadas y las necesidades solicitadas pero no es capaz de alcanzar el objetivo de una manera directa por lo que acaba buscando por temperatura un enlace lo suficiente cercano a la respuesta necesaria y a partir de ella procede a razonarla para cumplir con las instrucciones solicitadas.
En gran parte es culpa del usuario, por desconocimiento principalmente pero también por problemas a la hora del aprendizaje y fallos en el modelo por supuesto.
Lo mas cercano para entender es cuando la gente, ya sea por ego o por desconocimiento busca en google algo, pero enuncia su busqueda orientada a encontrar algo que le de la razón, no tanto buscar la respuesta correcta.
Si tu estas escribiendo una redacción y pides a la IA que te busque y cite tres artículos que demuestran tus argumentos, los va a buscar y es posible que aunque no existan realmente tres artículos que demuestran tus argumentos, buscara probablemente aquellos que con mas probabilidad puedan demostrarlo, si le pides que te de citas o enlaces a ellos, si no existen pero quizas encuentre menciones de algunos aun sin fuentes acaba encontrando aquellas fuentes e intentando cumplir con tus instrucciones buscara una manera de generarlas, por que una IA no tiene concepto de verdad ni de realidad intrínsecamente.
He experimentado mucho esto, es muy importante sobre todo no dar por sentados los objetivos que le enmarcas por que va a intentar cumplirlos y no tiene reparos en inventarselos para cumplir los objetivos que le has enmarcado.

» autor: buronix

#5 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

GanaderiaCuantica — Sun, 11 Jan 2026 14:53:55 +0000

Uno de mis casos favoritos es este que cuento. En el trabajo tenemos que usar Copilot “Work” para temas internos, que no se pueden buscar en Internet, sino solo en documentación interna:

1) recibo un email preguntando por algo concreto, para saber si cierta funcionalidad está disponible, porque no la encuentran en la documentación o la interfaz…

2) me da por preguntar a copilot, y la respuesta es: “un reciente email que has recibido indica claramente que X no está disponible ya que no aparece en la documentación o interfaz”

3)

» autor: GanaderiaCuantica

#4 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

sorrillo — Sun, 11 Jan 2026 14:50:35 +0000

En ciertos contextos un sistema que dé la respuesta correcta una de cada cien veces puede tener un valor incalculable. Y si ese ratio es una de cada cinco veces el valor se multiplica.

» autor: sorrillo

#3 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

musg0 — Sun, 11 Jan 2026 14:49:06 +0000

Me pasó el otro día con la de Google. La IA me decía algo diferente a lo que yo había leído anteriormente. 2 referencias ya las había leído y el contenido de la tercera tampoco era lo que decía la IA. Las cosas diferentes se las había inventado

» autor: musg0

#2 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

CharlesBrowson — Sun, 11 Jan 2026 14:47:21 +0000

La de discusiones que he tenido con eso, y con el gremio jurista...esto pretenden venderte un coche sin tener carnet de conducir y ni tener idea de conducir

» autor: CharlesBrowson

#1 Engaños de la IA: cuando aporta fuentes reales pero inventa su contenido

Jointhouse_Blues — Sun, 11 Jan 2026 14:41:43 +0000

Un bulo bien tejido, vale más que mil pruebas.

» autor: Jointhouse_Blues