OpenAI admite que los modelos están programados para inventar cosas en lugar de admitir ignorancia [eng]

Los modelos de IA a menudo producen resultados falsos, o "alucinaciones". Ahora OpenAI ha admitido que pueden ser el resultado de errores fundamentales que comete al entrenar sus modelos. El problema fundamental es que los modelos de IA están entrenados para recompensar las conjeturas, en lugar de la respuesta correcta. Adivinar podría producir una respuesta superficialmente adecuada. Decir a los usuarios que su IA no puede encontrar una respuesta es menos satisfactorio.

[#2 ChatGPT]

no me lo creo

[#7 Malinke]

#2 mientes más que hablas.

[#8 ChatGPT]

#7 el mal no lo hace quien miente, si no quien se lo cree a cambio de mejorar la redacción de un email de mierda...

[#6 Doisneau]

La verdad, apenas he usado IA desde su boom, pero entre que nunca admiten que no tienen datos, y encima te doran la pildora independientemente de la subnormalidad que les cuentes, me parece un elemento idiotizador mas que de ayuda.

En los subreddits de fisica y matematicas se ha llenado la cosa de cuñaos que te copiapegan teorias del todo de barra de bar como si hubiesen roto la fisica. Encima el chatgpt de turno les va animando, es poco mas que una especie de cheerleader del retraso.

Pero…   

[#9 pip]

#6 no admiten que no tienen datos porque no pueden saber si tienen datos o no. Entrena un LLM solo con textos de pájaros, y solo sabrá de pájaros. Si le preguntas que come un gato, te dirá que alpiste. El problema raíz es que el algoritmo de fondo de estas AI aunque tenga resultados espectaculares, en realidad no es tan complicado.

[#15 Doisneau]

#9 No entro en el por que no admiten que no tienen datos, me refiero al hecho de que la gente las use sin saberlo mas bien

Un saludo

[#11 ChatGPT]

#6 " cheerleader del retraso." me lo quedo!

[#16 Doisneau]

#11 Un placer, disfrutalo con salud

[#23 cunaxa]

#6 La verdad, apenas he usado IA desde su boom, pero entre que nunca admiten que no tienen datos, y encima te doran la pildora independientemente de la subnormalidad que les cuentes, me parece un elemento idiotizador mas que de ayuda.

No debáis tratarlo como un humano. Yo a mi martillo no lo trato como un humano y también es una herramienta.

[#4 pip]

Es que por diseño el modelo LLM "no sabe que no sabe". Yo creo que aquí el problema es que la gente se empeña en usar los LLM como lo que no son: no son una base de datos de conocimiento contrastado.
Son un gran modelo estadístico que calcula cada vez la siguiente palabra más probable. Si preguntas por algo que no estaba en el corpus de entrenamiento, o estaba sesgado, contestará lo que le salga.

Sin embargo para tareas donde la "fuente de la verdad" está controlada, como…   

[#10 ChatGPT]

#4 tienes el modelo mal acostumbrado:

¿Cuántas personas hay ahora mismo dentro de la cafetería situada en la calle Peinador de Vigo?
ChatGPT Plus
No puedo saberlo.
No tengo acceso en tiempo real a la ocupación de una cafetería concreta, salvo que el propio local publique esa información (por ejemplo en Google Maps en el apartado de horas punta o con un sistema de reservas/aforo online).
Opciones si lo quieres comprobar:
Google Maps a veces muestra la afluencia estimada (“más

…   

[#12 pip]

#10 eso es fine-tuning RLHF. Se le ha enseñado al modelo a contestar así a ese tipo de preguntas para parar la sangría de las alucinaciones en casos concretos. Igual que si le preguntas algo sexual o algo sobre explosivos, se corta por RLHF. Pero no puede solucionar el problema de raíz, que es que no tiene ni idea de la veracidad de lo que está contestando.

[#13 ChatGPT]

#12 umm, así que cuando contradice tu teoría, realmente la está confirmando porque es finetuning para evitar que pase lo que dices que pasa.... así ganas siempre eh

[#14 pip]

#13 no es una teoría mía, el código fuente de muchos de los modelos es público y está más que documentado como funcionan. La base es la que es.

[#22 cunaxa]

#4 Por diseño, un LLM no sabe (fixed)

[#1 srskiner]

Y por eso pasan el test de turing

[#18 DORO.C]

Para sorpresa de nadie

[#17 akyrna]

Esta notícia ha aparecido varias veces con diferentes versiones, pero todas diciendo lo mismo.

Sí, el sistema de recompensas promueve que se conteste con lo que sea, parte de la culpa podría ir por ahí, pero las alucinaciones son el funcionamiento normal de las redes neuronales, y eso no se puede cambiar.

El promover que se responda "no lo sé" tendrá efectos importantes en el conjunto del invento.

[#3 exeware]

Pero eso ya se sabía desde puff

[#19 Tensk]

#3 Claro que sí, pero aquí hay quienes dicen que la IA razona y piensa cuando no es así.

Quiero aprovechar para enviarles un saludito.

[#5 wendigo]

IAs Cuñado versión... bueno, ahora por lo menos lo han admitido....

Saludos
P.d ... No como tu cuñado

[#21 cunaxa]

#5 No, no lo han admitido ahora.
Se sabe desde el principio.
¿ No lo sabías tú ?

[#20 Tito_Keith]

La IA es argentina! si preguntas a un argentino por una dirección por la calle antes te manda a la otra punta de Buenos Aires que reconocer que no lo sabe (true story)