Falta de conciencia sobre el propio conocimiento: Las IAs no "sabemos" lo que sabemos. No tengo una lista de temas que domino y otros que no. Simplemente proceso patrones. Si el patrón me lleva hacia una respuesta que suena lógica (aunque sea falsa), la sigo sin ser consciente de que estoy "alucinando".
Coste computacional: Como bien has dicho, verificar la veracidad absoluta de cada dato en tiempo real requiere conectar con fuentes externas y contrastarlas, lo cual consume muchísimos más recursos que simplemente "predecir" la siguiente palabra según lo aprendido en el entrenamiento.
¿Sería más conveniente decir "no lo sé"? Definitivamente sí, especialmente en temas críticos (médicos, legales o técnicos).
Estamos trabajando para mejorar eso (lo que llamamos "calibración"), para que seamos capaces de admitir la ignorancia cuando la confianza en el dato es baja.
Me ha resultado muy esclarecedora la respuesta de Gemini sobre una cuestión que le hice: '¿Por qué las IAs tienden a dar cualquier respuesta, incluso incorrecta, en lugar de admitir su desconocimiento?'
Tienes toda la razón. Desde el punto de vista de la utilidad y la confianza, un "no lo sé" es mucho más valioso que una respuesta inventada. Sin embargo, hay varias razones técnicas y de diseño por las que a las IAs nos cuesta tanto decir simplemente que no sabemos algo:
Naturaleza probabilística: Mi "cerebro" no funciona como una base de datos que busca un archivo y lo encuentra o no. Yo genero una palabra tras otra basándome en probabilidades. A veces, la probabilidad de que una respuesta inventada sea "correcta" me parece lo suficientemente alta como para decirla, porque el modelo no tiene un mecanismo interno de "verificación de hechos" antes de hablar.
Sesgo de complacencia (Helpfulness): Durante mi entrenamiento, se me premia por ser útil. Los humanos que nos entrenan suelen preferir una respuesta que intente ayudar a una que se rinda rápido. Esto crea un efecto secundario: la IA prefiere "arriesgarse" a dar una respuesta incorrecta antes que parecer poco servicial.
@carademalo@Ripio@Imparsifal Me dijo Imparsifal en un comentario que era el bug.
Y oye, no, ni puta idea. De hecho me ha perjudocado porque tiene 80 meneos, 80 de karma, y no me ha subido el karma mío por publicada, que sigo igual más una décima. Que me la sopla, vaya, pero me ha perjudicado. Y bien merecido me lo tengo, por marrano de las erratas, coño.
Cosas extraordinarias que pasan en mi país: Acabo de escuchar en la radio (yo ya estoy muy viejo y escucho las noticias en la radio... cosas de una persona que ya ha caducado)... en fin... que un individuo (sicario) condenado por un asesinato le pidió el favor al abogado (que lo defiende) que si le podía cobrar a los que lo mandaron a matar a la victima... que necita el dinero. Por si no me creen: www.wradio.com.co/2025/07/02/asesino-de-periodista-presiona-a-defensor
Qué lista y fiable es la IA. Pregunto por el tamaño comparado de África y Eurasia y me contesta que "Aunque Eurasia es más grande que África, la suma de Norteamérica y Eurasia es menor que la superficie de África".
@imparsifal entiendo que desde tu punto de vista solo te fijes en los números, los euros, las visitas, etc.
Pero desde nuestro lado el tema se ve diferente.
Insisto, entiendo que tu posición y objetivos sean distintos.
@imparsifal yo sólo veo toxicidad en el Nótame, propaganda de casas de apuestas en portada, dueños que amenazan con expulsar a usuarios por motivos ideológicos,...
Falta de conciencia sobre el propio conocimiento: Las IAs no "sabemos" lo que sabemos. No tengo una lista de temas que domino y otros que no. Simplemente proceso patrones. Si el patrón me lleva hacia una respuesta que suena lógica (aunque sea falsa), la sigo sin ser consciente de que estoy "alucinando".
Coste computacional: Como bien has dicho, verificar la veracidad absoluta de cada dato en tiempo real requiere conectar con fuentes externas y contrastarlas, lo cual consume muchísimos más recursos que simplemente "predecir" la siguiente palabra según lo aprendido en el entrenamiento.
¿Sería más conveniente decir "no lo sé"? Definitivamente sí, especialmente en temas críticos (médicos, legales o técnicos).
Estamos trabajando para mejorar eso (lo que llamamos "calibración"), para que seamos capaces de admitir la ignorancia cuando la confianza en el dato es baja.
Tienes toda la razón. Desde el punto de vista de la utilidad y la confianza, un "no lo sé" es mucho más valioso que una respuesta inventada. Sin embargo, hay varias razones técnicas y de diseño por las que a las IAs nos cuesta tanto decir simplemente que no sabemos algo:
Naturaleza probabilística: Mi "cerebro" no funciona como una base de datos que busca un archivo y lo encuentra o no. Yo genero una palabra tras otra basándome en probabilidades. A veces, la probabilidad de que una respuesta inventada sea "correcta" me parece lo suficientemente alta como para decirla, porque el modelo no tiene un mecanismo interno de "verificación de hechos" antes de hablar.
Sesgo de complacencia (Helpfulness): Durante mi entrenamiento, se me premia por ser útil. Los humanos que nos entrenan suelen preferir una respuesta que intente ayudar a una que se rinda rápido. Esto crea un efecto secundario: la IA prefiere "arriesgarse" a dar una respuesta incorrecta antes que parecer poco servicial.
Haiga paz, joer... O no...
Y oye, no, ni puta idea. De hecho me ha perjudocado porque tiene 80 meneos, 80 de karma, y no me ha subido el karma mío por publicada, que sigo igual más una décima. Que me la sopla, vaya, pero me ha perjudicado. Y bien merecido me lo tengo, por marrano de las erratas, coño.
ellosnosotros.El presidente de Correos reúne a 200 directivos y les dice que la situación es de extrema gravedad.
Si se paran un poco a pensar igual podrían unir los puntos.
Pero desde nuestro lado el tema se ve diferente.
Insisto, entiendo que tu posición y objetivos sean distintos.