En el estudio titulado "La ilusión de pensar: Comprender las fuerzas y limitaciones de los modelos de razonamiento a través de la lente de la complejidad del problema", los investigadores probaron hasta qué punto las IAs razonan. En vez de las viejas pruebas matemáticas usaron puzzles algorítmicos que los modelos no habían visto nunca. Todos los modelos "razonadores" golpearon una pared de complejidad donde se derrumbaron por completo a 0% de precisión. No razonan, simplemente memorizan los patrones muy bien.
|
etiquetas: apple , modelos , razonamiento , ia , lrm , torre , hanoi 
En realidad la mayoria de la gente tampoco lo hace y nadie lo hace todo el tiempo. De ahí la confusión
Puede sonarte a chino, pero la IA se rendía sin intentarlo, no gastaba créditos cuando tenía ilimitados. Simplemente paraba.
Según el humano, lo curioso que sea, invertirá más o menos tiempo y alguno lo conseguirá.
Luego le intentaron enseñar explicándoselo paso a paso y dándole la solución final, pero tampoco lo entendía. En esto los humanos destacamos.
Lo único que queda por decir es que esto lo sabíamos todos. Han buscado un poco los tests que les darían publicidad, porque es más que sabido que las IA no razonan ni se pueden enfrentar a retos para los que no tienen entrenamiento
Voy a dejar el enlace al paper original, ya que el hilo del meneo sólo incluye algunas capturas de pantalla y no enlazan el paper:
ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf
Por poner un ejemplo de prompt, este es el que usan para Las Torres de Hanoi, cambiando "n" por el número de discos:
You are a helpful assistant. Solve this puzzle… » ver todo el comentario
Eso es importante de cara a los juicios que se vienen por propiedad intelectual y violación de licencias de copyright/copyleft.
Esto evita perdida de privacidad pero las funciones que hacen superordenadores no son comparables con un iPhone, por el momento.
Según vallan mejorando los algoritmos irán mejorando las funciones.
Hasta el punto de que no tiene ninguna IA propia y pretende usar la de terceros.
Lo que intenta Apple, sin conseguirlo, es crear un ecosistema seguro donde se pueda usar la IA. Pero no tiene ninguna IA propia ni puede a éstar alturas tenerla a no ser que compre una, cosa en la que también va tarde con la burbuja existente.
Es decir, que a pesar de no tener ninguna y verse obligada a usar la IA de otros, tú dices que no va atrasadísima con la IA. Ok.
Ahora… » ver todo el comentario
developer.apple.com/machine-learning/models/
Han denunciado a Apple por no incorporar la IA a los iPhone 15 como prometieron y su salida desesperada es que tampoco es para tanto.
¿Dónde están esas funciones y mejoras? No lo saben ni ellos pero el caso es que mucha gente que se compró un iPhone nuevo para que soportasen esas funciones y ahora resulta que ha pasado 1 año y siguen sin materializarse ni concretarse, pues se sienten defraudados.
Como curiosidad, un tema de conversación, una frase, una respuesta se basa en modelos predictivos de qué palabra poner a continuación de la siguiente. Un complejo mediano pediátrico eso sí, pero no deja de ser matemáticas y estadísticas.
Por ahora, y creo que durante muuuucho tiempo más, las IAs son eso, y ni conciencias ni razonamiento.
Igual todo llegará, pero creo que aún falta muuuucho tiempo.
Como dijo Arquímedes: ¡Eureka!
Había gente por ahí afirmando rotundamente que iban a curar el cáncer, si es que no aprendemos
Por lo demás, la vida no tiene sentido. Se trata de sobrevivir y ya.
LOL
En los modelos actuales? LOL
#142 Tu comentario me recordó el libro Visión Ciega de Peter Watts en el que descubrí que efectivamente inteligencia y conciencia no tienen que ir de la mano.
La IA es una herramienta potente para el resto de profesiones, aumentando su productividad, tal como la ingeniera de software.
Esto es evidente y no hace falta ningún estudio, simplemente cualquier ingeniero que utilice frecuentemente los LLMs puede darse cuenta que no razonan, son una base de datos con la que puedes comunicarte con lenguaje natural.
Contra intuitivamente, las tareas de "pensar" computacionalmente son más sencillas de solucionar que las habilidades motoras.
Programadores hará falta y ahora más, están surgiendo nuevas tecnologías alrededor de la IA como NLWeb y MCP y hace faltan programadores que puedan implementar flujos de trabajo basados en esas tecnologías.
Lo que ocurre es que la mayor parte de los trabajos y tareas que realizamos los humanos suelen ser cosas que alguien ya hizo antes. Más aún, suelen ser cosas que muchos ya ha hicieron antes. Con lo cual, pues se puede dar una respuesta mediante comparación de patrones.
Es más, hay gente que se queja de que "la IA da resultados mediocres". Es que para la casi totalidad de lo que hacemos los humanos, con tener un resultado mediocre pero rápido, es mejor que tener un resultado excelente pero que requiera mucho más tiempo. La sustitución de lo artesanal por lo industrial es eso mismo.
1) la capacidad de “comprensión” que tienen a veces. Incluso con un prompt regulero, basadas en el contexto, son capaces de predecir lo que quería decir.
2) a pesar del punto anterior, otras veces la cagan un poco (código con errores, métodos que no existen, etc…ignorando requerimientos aunque clarifican que el código si que hace eso), o mucho, moviéndose en la misma respuesta desde el tema de una función “map” para recorrer una lista hasta llegar la IA solita a explicar que debería usar Google maps.
Te dicen cosas que son falsas con una seguridad que te las podrías creer perfectamente.
No sé a qué viene un envío sobre esto.
Pues díselo a todas las compañías de IA que anuncian sus modelos “razonadores” a bombo y platillo. Y como tal te los venden.
No era tan difícil de entender la siguiente conclusión de mi comentario. Yo creo que si se lo hubierais preguntado a la IA ya os lo habría explicado. Sin razonar!
A mi la IA me ha construido unas idas de pinza tremendas. Que sí, que si no sabes SQL y la IA va y te construye SQL, aunque sea una mierda, pues lo vas a flipar en colores. Pero lo flipas porque no entinendes lo que construye. Sólo ves que hace SQL, y que tú no puedes, y ya has decidido ponerte de rodillas y adorar a tu nuevo dios.
Lo que más as noto de las IAs son dos cosas, que no saben decir no sé, ellas siempre te dan un resultado aunque sea completamente incorrecto pero con la seguridad de un experto. Y, de la mano, que como no sepas la respuesta a lo que le preguntas apañado vas para usarla como herramienta. Te ahora horas de búsqueda de documentación y cruzar datos, sí, pero mezclan cosas y se equivocan bastante.
Eso es un problema tremendo.
Porque es algo bastante evidente. Llevo más de un año viendo verdaderos disparates en la IA. Al principio me lo tomaba con humor, pero cada vez me preocupa más.
Eso pasa por haber pensado alguna vez que la inteligencia artificial es inteligente. No lo es. Ni está pensada para eso tampoco.
Con otras herramientas similares como las calculadoras y las hojas de cálculo no hay tantos problemas., La gente se adapta mejor.
A los humanos nos parece que piensa porque lo asociamos al uso del lenguaje natural. Hay que deshacerse de esa asociación o nos engañan.
Ahora, al decir tonterías le llaman alucinaciones (cuando antes las alucinaciones eran otra cosa). Resulta que los modelos más recientes dan más alucinaciones que los modelos anteriores y no se sabe la causa. Si fuera porque los nuevos modelos tienen más información, habríamos llegado a un límite.
Y justo por eso, la IA se equivoca en esos razonamientos nunca presentados. Una IA jamás te dirá que algo no sabe resolverlo. Te dará la respuesta que considere con más precisión, aunque sea 0.
Salu3
No razona. Simplemente predice texto en función de los datos que se le han insertado en la fase de entrenamiento.
No puede. Porque no hay ejemplos en internet.
(Visto en el canal del youtuber/piloto mentourpilot)
Tenéis razón
Iba a buscar en la papelera de reciclaje porque a mí me ha hecho varios aviones sin ventanas pero veo que #37 ya te lo enlaza.
Te intenta explicar que las IAs no solucionan problemas nuevos. Son buscadores avanzados con una interfaz muy buena.
Verosímil ≠ Verídico
En fin.
Los basados en transformadores?
La verdad es q si lo dudo....
O cambia la tecnologia o no lo veo. Que cambiara algun dia, claro, igual para meter esto, pero en la actual....
Y los ha resuelto muy satisfactoriamente. Se puede opinar, por supuesto, que ya los conocía, es posible que ese viejo libro de Boris Kordemsky esté escaneado y disponible en… » ver todo el comentario
Podemos hacer que un modelo de IA complete un examen de historia de selectividad de 10, o intérprete un texto jurídico y haga un resumen, o que dibuje lo que queramos a un nivel casi profesional.
Lo que no conseguímos es: una IA que conduzca (lo que hay tras invertir cantidades obscenas de dinero todavía no funciona bien), que te cambie un desagüe, que haga hormigón y levante una pared de ladrillos, que haga volar una cometa...
Ahí nos chocamos con la paradoja de Moravec.
Y es gracioso, porque hay muchos huimanos que tampoco son capaces de hacer todo eso que dices.
Yo creo que se subestimaba mucho lo que significaba “pensar”, “inteligencia “, “sabiduría” etc.
En un LLM, la red neuronal produce una serie de posibles tokens con su peso. Hasta aquí es determinista. A partir de aquí ya estás fuera de la red neuronal, entonces lo transformas en probabilidades, le aplicas temperaturas y lo que te de la real gana, seleccionas un token y vuelves a llamar a la red neuronal para el siguiente token.
Un modelo no es sólo la red neuronal (normalmente muchas) sino que hace montones de cosas a golpe de código. Son dos cosas distintas. Si te miras como funciona una red neuronal verás que es evidente que es determinista.
git clone github.com/jackyzha0/quartz.git
cd quartz
npm i
npx quartz create
A un contenedor podman compose. 33.000 palabras y 230.000 caracteres y no lo consiguió. Al final lo tuve que sacar yo.
Cada uno que se apañe como pueda, yo hago lo que puedo y lo que hagan los demás no lo puedo controlar.
Avisados ya estamos desde hace mucho, desde luego.
He echado cuentas y me compraría un ordenador que me permita instalar una IA en local por el precio de 20 a años de Google IA Pro. (Así de tonto soy jaja). Pero aún no es el momento. No hay prisa. Hay que dejar que explote la burbuja primero.