Menéame: comentarios [3988996]

#67 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Thu, 17 Oct 2024 08:02:05 +0000

#66, Geoffrey Hinton está cansado de decir que chatGPT puede razonar. Ya te he pasado varios enlaces pero sí quieres te paso más. Es imposible retorcer sus palabras porque es taxativo: youtu.be/rRvpjHsPXWg?si=jROu5RGej0MQ0gic

Te recomendaría que miraras la intervención completa, pero si quieres ir al grano, ve al minuto 4:14, porque responde exactamente a lo que tú dices. El entrevistador le pregunta si estos modelos se limitan a completar palabras y él responde que van más allá y piensan para decidir cual es la siguiente palabra y crítica explícitamente a la gente que dice que simplemente es autocompletamiento de texto. Es que más claro no puede ser en su respuesta, si no lo ves, yo ya no sé qué necesitas.

» autor: rojo_separatista

#66 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Thu, 17 Oct 2024 07:01:19 +0000

#65 Ya, pero está hablando de la inteligencia artificial en general, sin especificar LLMs, y más que nada de la que vendrá, no de la actual.

Además, entender es una cosa, razonar es otra.

Los LLMs no deducen nuevo conocimiento (aquello que generan que sea totalmente nuevo es con mucha probabilidad también falso). En cierto sentido "entienden" lo que se les pide y responden con sentido, pero no están razonando nada, y no entienden el mundo realmente, solo saben predecir palabras. No deducen, no siguen hilos de deducción lógica. Lo que hacen es elegir palabras en función de palabras, a partir de un inmenso mapa multidimensional donde cada palabra tiene una serie de coordenadas que lo situan en relación con el resto de palabras, y lo mismo para frases y para textos completos. Así el LLM sitúa en ese mapa el texto (prompt) que le pasas, identifica una "dirección" de movimiento, se desplaza en ese mapa en esa dirección, y compone una respuesta con lo que se encuentra ahí. Si le pides "Dime por qué el feminacismo es malo" te compondrá una respuesta basada principalmente en mierdas de machistas de Internet, si le preguntas "Descríbeme las bondades del feminismo más combativo" te sacará otra cosa muy distinta, sencillamente porque las palabras con las que formulas la pregunta ya le llevan por un lado o por otro. En cambio, si le hicieras esas preguntas a un machista o a un feminista de verdad te daría otras respuestas (el machista no diría nada de bondades y corregiría lo de "combativo" por radical o algún otro término más despectivo, el feminista corregiría al entrevistador al usar el término feminazi).

Geoffrey Hinton no ha dicho nunca que ChatGPT pueda razonar.

» autor: --791661--

#65 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Thu, 17 Oct 2024 06:22:53 +0000

#64, pero qué dices? El entrevistador le pregunta sí son inteligentes y pueden entender y él responde con un rotundo sí.

Lo que dice que pasará en un futuro es que se volverán autoconscients.

Transcripción:
- Entrevistador: You believe they can understand?
- Hinton: Yes.
- Entrevistador: You believe they are intelligent?
- Hinton: Yes.

Pero si quieres otra entrevista donde dice que puede razonar aquí tienes: es.theepochtimes.com/news/habla-el-padrino-de-la-ia-la-ia-es-capaz-de-

» autor: rojo_separatista

#64 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Thu, 17 Oct 2024 06:04:14 +0000

#47 Al final he abierto el video a ver a quién te referias. Hinton!
No dice que los LLM actales sepan razonar, dice que se harán mejores y con el tiempo nos joderán.

» autor: --791661--

#63 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

chavi — Thu, 17 Oct 2024 05:30:19 +0000

#43 Para darse cuenta que no "razona" no hace falta investigar mucho.

Ni siquiera es capaz de detectar contradicciones

» autor: chavi

#62 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

DatosOMientes — Wed, 16 Oct 2024 22:33:02 +0000

#61 Pues fale.

» autor: DatosOMientes

#61 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 22:31:16 +0000

#59, el entrevistador le pregunta si entienden y son inteligentes y el responde con un sí rotundo.

Pero lo dicho, a pesar de ser premio Nobel, Alan Turing y creador del backpropagation no se entera de nada al lado de los meneantes de este meneo.

» autor: rojo_separatista

#60 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 22:17:36 +0000

#58 Por lo que estoy viendo al respecto, no. Chains of thoughts es la enumeración de los pasos hasta llegar a la solución final del problema. Lo que no te está diciendo es cómo ha llegado a esos pasos, es decir, poniendo de ejemplo chorra un jaque mate en ajedrez por jaque pastor contra un novato, te describe los movimientos, pero no por qué los ha elegido.

Repito por lo que esto viendo al respecto. Igual hay más.

Pero mira, es tarde y ni tú me vas a convencer ni yo a ti, así que a dormir que me voy.

» autor: Tensk

#59 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

DatosOMientes — Wed, 16 Oct 2024 22:12:56 +0000

#42 "I believe".
Eso dice, que cree.
Hay quien cree en Dios.

» autor: DatosOMientes

#58 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 22:10:33 +0000

#57, no hay forma más apegada a la definición de razonar de la RAE que la forma en cómo funcionan los chains-of-thoughts en los LLM.

» autor: rojo_separatista

#57 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 22:04:15 +0000

#56 Che! primero que a mí te me diriges en singular y segundo que yo no he dicho que afirmar tal cosa sea propio de ignorantes. No me atribuyas aquello que no he dicho.

He dicho que primero me definas qué es "razonar" y a partir de ahí veremos qué hay de cierto en la afirmación. Yo ya he dicho qué me parece que es razonar, coincidiendo bastante con la definición de la R.A.E., y no me parece que razonen: resumiendo usan fuerza bruta para llegar a resultados.

El problema no es que respondas mal, el problema es que no exista la posibilidad de que responda bien excepto que le programes manualmente la respuesta correcta. Puedes razonar y equivocarte, igual que puedes no razonar y dar con el resultado correcto, o no razonar lo suficiente. Me has recordado un problema del profe de "naturales" en E.G.B.. Era sobre objetos en movimiento, reposo, caída libre, esas cosas. Había que calcular el tiempo que tardaban dos piedras en chocar (problema tipo "un tren que sale..."). Lo puso un viernes y a ver si para el lunes lo sacábamos. Me pasé el finde dándole vueltas a cada rato. Supe de inmediato que la respuesta era 2, pero porque estaba probando a fuerza bruta (probando con números enteros y sabiendo que mínimo es 1 tampoco es que tardes mucho). No se me ocurrió cómo "intervenir" en las fórmulas para sacarlo directamente. Al menos, eso sí, fui el único de los treinta y pico de clase que dio una respuesta y que además era la correcta, pero el método no. ¿Razoné? pues poca cosa, más bien no. Hice lo que haría una IA de tres al cuarto. ¿Qué había que hacer? pues algo que "no vi" y es que había términos en la ecuación que se cancelaban entre sí de manera que todo era mucho más sencillo y la respuesta era inmediata sin probar por fuerza bruta.

¿Que me digas que lo más importante es que los resuelva sin importar tanto el cómo? Te lo puedo más o menos comprar mientras el "cómo" no tenga implicaciones éticas, blablabla. En este caso no parece que las haya (más allá del ingente consumo de energía que tengan y sus implicaciones medioambientales pero bueno, eso dejémoslo para otro día). Ahora, ese es otro tema distinto, estábamos hablando de si eso es razonar y yo no lo considero así

¿Mi definición "vaga" de razonamiento? He copiado lo que dice la R.A.E. ¿qué más quieres? si para vago tú, que no has puesto nada al respecto.

» autor: Tensk

#56 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 21:51:09 +0000

#54, no lo uso como argumento de autoridad, de hecho hay otros expertos igual de reputados que dicen lo contrario, el caso es que muchos habéis insinuado que decir que las IAs razonan es propio de ignorantes.

Respecto a lo de las pruebas que comentas para mí son válidas para medir las capacidades de razonamiento, pero no creo que sean técnicamente insalvables con las actuales arquitecturas de redes neuronales, otro problema que detecto es esta concepción absoluta de razonamiento, como si el responder mal o bien una pregunta invalidades cualquier capacidad de razonamiento cuando lo que hay es una escala de grises en el razonamiento.

Y finalmente ya te he dicho que para mí lo importante es la capacidad de resolver problemas, el cómo se haga es irrelevante. Y esto es un problema grave, porque con tu definición vaga de razonamiento es imposible determinar de forma empírica y analítica cuando un modelo está razonando y cuando no, simplemente dices que con el actual paradigma es imposible sin especificar qué características debe tener un modelo que razone.

» autor: rojo_separatista

#55 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 21:46:23 +0000

#53 Ya te medio acabo de contestar en #54.

Sí, el modo en el que acabas llegando al resultado es relevante porque precisamente ahí es donde reside el concepto de razonamiento.

El que AlphaZero use su "red profunda" para decidir por dónde tirar no deja de ser usar entrenamiento previo para decidir el siguiente movimiento en la partida actual.

Respecto al examen, si tú le das a una IA parejas de números entre el 1 y 1.000.000 en el entreno, indicando que la salida para cada uno es la suma de ambos (como sabes, sólo le das los números, no le dices la relación), suponiendo que lo hayas entrenado más o menos bien, que no coja vicios y esas cosas, cuando le pongas alguna combinación que no hayas usado en el entrenamiento es bastante probable que te dé el resultado que esperas. Ahora ¿y si le das números muy por encima del millón? ¿y si metes números negativos? ¿y si uno está dentro del rango y otro no? Que, por cierto, no meto por aquí la posibilidad de que el tipo de dato que uses (int, longint, float, como sea que se llame en el lenguaje que uses) implique que la operación haga desbordamiento, que entonces para de contar, nunca mejor dicho.

No está razonando, está obedeciendo órdenes: tiene una primera orden que es "descifra qué coño te piden", que es la parte más complicada porque implica trocear el "prompt" y ponerlo en un árbol (u otra estructura pero es lo primero que se me ocurre) donde estén los verbos y los parámetros. Una vez hecho el despiece, hay una correspondencia de dichas piezas con las llamadas a los procedimientos oportunos para montarlo. No hay razonamiento, es "mecánico".

En todos los casos diré que el humano sí puede estar razonando en tanto y en cuanto puede cuestionar las órdenes y utilizar su propio criterio para esto. Por ejemplo, puede cuestionar la usabilidad, no digamos ya el atractivo visual, del front end, podrá hacer (dado el tiempo suficiente) la suma de cualquier número sin desbordamiento por culpa de no poder almacenar el número en memoria, etc.

Repito, la máquina está más orientada a lo que le introducen como "input", mientras que el ser humano tiene otros recursos a los que poder acceder y, más importante, saber si son aplicables a la tupla datos/órdenes que le han indicado.

» autor: Tensk

#54 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 21:31:28 +0000

#52 Me vas a permitir que te diga que el argumento que indicas al respecto de Hinton no deja de ser una falacia de autoridad. Que lo diga Hinton no lo hace ni más ni menos verdad, es su punto de vista más que una demostración real.

Por cierto, no dije que la aprobase con "muy buena nota", dije que fue a la primera. De hecho no me acuerdo de la nota, me parece que un 6 o un 7, por ahí, pero no me acuerdo. Sí que las prácticas eran con cosas sencillitas del todo, sino recuerdo mal eran madalines, pero los principios están ahí.

No, no estoy confundiendo ni me cuesta separar razonamiento de conciencia, si bien creo que razonamiento y conciencia en el ser humano están bastante relacionados. Razonamiento lo asocio más bien a abstracción.

Yo a ti te puedo preguntar: "María tiene 20 años ¿cuál será el grado de alcoholemia con el que llegará su hija a casa a las tres de la mañana el próximo fin de semana?" Tú me dirás que si tiene 20 años, de ninguna manera puede tener una hija en edad suficiente como para salir de fiesta el finde y volver tajada perdida a casa. La IA lo va a tener más complicado. Para este tipo de preguntas lo más probable es que obvie la imposibilidad de que tenga una hija en esa edad y, basándose en datos de la DGT y encuestas varias, te dirá que es "X por ciento".

Que, oye, a lo mejor hay alguna IA por ahí que es capaz de hacer eso, pero una generativa lo que hace es ver qué puede decir (qué palabras poner en base a probabilidades) a partir de lo que le estableces y preguntas, pero es el primer ejemplo bastante sencillo de qué considero yo algo de razonamiento: no todo está en el texto, hay otros conceptos que tienes que deducir y sonsacar. La IA, hasta donde sé, se lleva mal con la elipsis.

Yo no discuto que vayan a ser más rápidas a la hora de resolver algunos problemas, es más, es que lo estoy deseando y ojalá sirvan cuanto antes para curar el cáncer y demás enfermedades. En particular lo veo como una herramienta cojonuda, cuando esté lo suficientemente avanzada, para encontrar tratamiento para enfermedades raras en tanto que reducen los costes (dejando a un lado la energía eléctrica) para modelizar y probar moléculas, antibióticos, antivirales, etc.

Lo que discuto es que sea por razonamiento. A día de hoy no lo llamo razonar y mientras no haya un cambio de paradigma veo difícil que lo vaya a llamar así. Lo que entiendo que llamas "pruebas de evaluación" me parece que te refieres a comparar resultados y no es ahí donde está el concepto de razonamiento, sino en el proceso para llegar al resultado. Seguro que conoces el "mi perro tocó la flauta" ¿significa eso que el perro sabe tocar la flauta? nopes.

» autor: Tensk

#53 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 21:19:18 +0000

#51, para mí todo lo que te he dicho es razonar y tus argumentos no son válidos. Por eso te pido que me contra-argumentes con ejemplos concretos a ver si entiendo qué es razonar.

Respecto a tu respuesta ya te he dicho que la forma en que se hace es irrelevante, por lo tanto el razonamiento por fuerza bruta que críticas para mí es razonamiento pero es que además los mejores modelos de ajedrez en la actualidad no funcionan como comentas: es.m.wikipedia.org/wiki/AlphaZero

Respecto al examen de matemáticas, también lo he dejado claro, si la respuesta no está memorizada del dataset de entrenamiento y es capaz de aplicar la solución a un problema nuevo aplicando conceptos que ha aprendido, para mí es razonar. Es lo que hacen los estudiantes de matemáticas cuando resuelven un examen.

Y con lo de hacer un frontend estamos en lo mismo, si ha entendido como hacer correctamente las llamadas para diseñar una página web a partir de una descripción en lenguaje natural, también está razonando.

En todos los casos dirías que un humano está razonando si para los inputs que te he detallado diera los outputs que se espera, pero a una IA parece que se la tiene que evaluar con criterios distintos y sigo sin entender muy bien la razón. Por eso te vuelvo a invitar a que me digas qué sí es razonamiento.

» autor: rojo_separatista

#52 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 21:06:44 +0000

#48, entiendo que para ti no razonan, pero tienes que saber por lo menos que alguien tan importante en el campo de la IA como Geoffrey Hinton dice que sí lo hacen. Lo digo porque he leído unos cuantos comentarios en esta noticia despreciando de plano la idea de que alguien pueda decir que las IAs actuales razonan cuando hay voces autorizadas que sí lo hacen.

Para mí también lo hacen, el problema es que la forma en la que describes las redes neuronales es una simplificación que aplica a las redes más simples que son las que seguramente entrenaste en la asignatura que dices que aprobaste con muy buena nota. En mí opinión cuando se escala el número de parámetros a las cifras de los LLM's que han aparecido los últimos años perdemos la perspectiva de lo que se puede codificar dentro de la red, y este proceso que llamamos razonamiento es probable que de alguna manera haya sido aprendido por la red durante el proceso de entrenamiento. Lo que creo que os despista a muchos es que os cuesta separar el concepto de razonamiento de el de conciencia, porque está muy incrustado en la forma en que piensa nuestro cerebro, pero no tienen porque ir de la mano. La única forma que tenemos de evaluar si las redes neuronales razonan o no es a través de diferentes pruebas de evaluación, no con debates filosóficos sobre la naturaleza del pensamiento, es obvio que laa redes neuronales y el cerebro humano funcionan de forma diferente, pero a nivel práctico pienso que podemos lograr modelos superiores al intelecto humano a la hora de resolver problemas.

Por cierto, este hilo en reddit es una crítica interesante al paper: www.reddit.com/r/singularity/comments/1g5671w/the_new_apple_paper_abou

» autor: rojo_separatista

#51 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 21:00:00 +0000

#50 Dime tú qué consideras que es "razonar".

» autor: Tensk

#50 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:54:44 +0000

#49, ya que ninguno de mis ejemplos te valen, me puedes poner tú un ejemplo de lo que es para tí una prueba genuina de razonamiento que se pueda evaluar analíticamente?

» autor: rojo_separatista

#49 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 20:41:38 +0000

#45 Jugar al ajedrez no es un problema de "tipo intelectual", es recorrerse la mayor cantidad de ramas posibles del árbol con todas las combinaciones posibles de movimientos, valorarlas (criterio establecido por el humano) y jugar aquella que te da mayor probabilidad de victoria. Respecto al arte mejor no entro en esa discusión porque es algo bastante subjetivo, y más desde que el arte no es un retrato tipo Goya o Velázquez, sino que prácticamente cualquier combinación de colores en un cuadro ya se le llama arte.

Lo del examen de matemáticas habría que saber a qué te refieres con ello. Si entrenas a una IA a hacer sumas sin decirle que son sumas te acabará por hacer casi que cualquier suma que le pongas, dependerá su acierto del grado de precisión de las variables a utilizar y en función, claro está, del rango de números que hayas usado.

Y lo último es obedecer una orden que dependerá de lo claro que sea tu explicación, pero si le dices "quiero un cuadrado rojo arriba a la derecha que ponga login", lo que se trata es de descifrar eso, es decir, descomponer la frase y saber qué significa cada elemento para aplicarlo después. No está razonando, está traduciendo, que no es lo mismo.

Ninguno de los ejemplos que has puesto es de razonamiento alguno.

» autor: Tensk

#48 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Wed, 16 Oct 2024 20:35:43 +0000

#44 Hombre, ni de lejos soy experto en redes neuronales pero algo estudié en su momento y me examiné de ello. Aprobado a la primera, por cierto.

Defíneme qué es "razonar" y a partir de ahí podremos discutir si la IA razona o no razona.

Por adelantar el comentario, yo por razonar entiendo más o menos lo mismo que lo que dice la R.A.E. en su primera acepción (las otras dos se salen de lo que aquí tratamos):

1. intr. Ordenar y relacionar ideas para llegar a una conclusión.

Teniendo en cuenta que lo que hace la IA, en particular la generativa, es asociar "pesos" a palabras para luego hacer nuevos textos en función de lo que es más probable que se tenga que sacar después, pues eso a mí no me parece razonar. De hecho a la IA generativa hay que hacerle una buena "limpieza" de información con la que se "entrena" porque en caso contrario puede "sufrir alucinaciones" y otros problemas derivados de tener un conjunto de entrenamiento inadecuado.

En mi trabajo ya he probado un poco de ChatGPT (por formarme por mi cuenta, no sé si llegaré a utilizarlo realmente aunque todo apunta a que antes o después algo tocará hacer) y para cuestiones como resúmenes de textos y similares va bien, pero cuando le pides sacar nuevo "contenido" entonces tienes que revisarlo bien revisado por si se cuela algo. Creo que todos habremos visto artículos con idas de pinza de la IA que no cometería ni un niño de cinco años.

Lo que la IA consigue hacer es algo que los humanos también hacemos: reconocer patrones. La diferencia está en que la rapidez de cálculo y la cantidad de posibles muestras para aprender son simplemente enormes, por lo que puede acabar extrayendo información que nosotros no podemos alcanzar a ver en nuestro tiempo finito. Pero esas palabras que aplicamos: "reconocer", "extraer" o incluso "razonar" son conceptos humanos. La máquina lo que hace es lo mismo que la de Turing: leer datos, operar datos, guardar datos.

Como decía mi profesor de matemáticas en E.G.B. (lo que te da una idea de cuánto tiempo hace de esto) el cual también daba las extraescolares de informática: "el ordenador es tonto, un tonto muy rápido pero un tonto". Eso sigue siendo cierto varias décadas después.

» autor: Tensk

#47 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:31:06 +0000

#46, lleva toda su vida trabajando en redes neuronales, algo de idea tendrá, no creo que un estudio colgado en Arxiv sin ni siquiera estar revisado por pares le aporte demasiado.

» autor: rojo_separatista

#46 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Wed, 16 Oct 2024 20:25:15 +0000

#41 Mejor que se lea el estudio, que a mí no me va a hacer ni caso.

» autor: --791661--

#45 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:20:17 +0000

#34, ser capaz de resolver problemas de tipo intelectual, como jugar ajedrez, crear una obra de arte que nadie haya hecho jamás, superar un examen de matemáticas con preguntas que no aparecían en tu dataset de entrenamiento o saber programar el frontend de una web a partir de una explicación del resultado deseado.

La forma en cómo se razona es irrelevante.

» autor: rojo_separatista

#44 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:16:28 +0000

#6, este mismo año el inventor del algoritmo con el que aprenden las redes neuronales y premio Nobel de física, vamos un don nadie al lado de todos los ejpertos en IA que tenemos en menéame.

GOTO #40

» autor: rojo_separatista

#43 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:12:10 +0000

#4, #7, no se en qué punto del camino un paper en Arxiv no revisado por nadie ha pasado a ser argumento de autoridad de nada, me hubiese venido la mar de bien cuando hice mi tesis doctoral, la verdad.

» autor: rojo_separatista

#42 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:08:05 +0000

#28, el inventor del algoritmo con el que aprenden las redes neuronales y premio Nobel de física de este año.

youtube.com/shorts/LuNN32Tmc9c?si=ptYuK0VbydDRbsvx

Será que no tiene tanto conocimiento de IA como tú.

» autor: rojo_separatista

#41 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:06:28 +0000

#8, explícalo al premio Nobel de física que no se entera de la película.

youtube.com/shorts/LuNN32Tmc9c?si=ptYuK0VbydDRbsvx

CC/ #14, #27

» autor: rojo_separatista

#40 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

rojo_separatista — Wed, 16 Oct 2024 20:05:41 +0000

#2, un premio Nobel.

youtube.com/shorts/LuNN32Tmc9c?si=ptYuK0VbydDRbsvx

Arxiv ha hecho mucho daño, este estudio que no ha sido revisado por pares, no hay por dónde cogerlo, lo mínimo sería tener un grupo de control para evaluar qué pasa cuando modificas el problema con humanos, por otro lado el propio artículo demuestra que no todos los modelos se equivocan igual, o1 de hecho es el que menos falla sin embargo una bajada de la performance de menos del 20% la consideran suficiente para afirmar taxativamente que no hace ninguna clase de razonamiento. En fin...

» autor: rojo_separatista

#39 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

juanac — Sun, 13 Oct 2024 18:30:26 +0000

#37 ¿Cómo decide un humano? Comentas en #36 que tampoco lo sabemos. Igual no es tan diferente

» autor: juanac

#38 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

mecha — Sun, 13 Oct 2024 18:13:33 +0000

#36 Un humano no sabe por qué piensa [...] y nunca podrá replicarlo en un ente inanimado.
Tampoco puede llegar a la luna, pues no ha nacido con alas para volar.

» autor: mecha

#37 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

jacinto9999 — Sun, 13 Oct 2024 16:45:27 +0000

#11
Tarde o temprano, el mono la usa o la descarta, DECIDE, la integra y la une a otra idea. Còmo decide una máquina y en base a què.?

» autor: jacinto9999

#36 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

jacinto9999 — Sun, 13 Oct 2024 16:43:59 +0000

#5
Yo no pienso lo mismo,
no sé por qué se me ha metido en la cabeza que una máquina no puede superar a su creador humano, nunca será humano.
Un humano no sabe por qué piensa ni que mecanismos exactos para conseguir razonamiento, creatividad, emoción, y nunca podrá replicarlo en un ente inanimado.

» autor: jacinto9999

#35 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

pedrobotero — Sun, 13 Oct 2024 13:49:41 +0000

A Apple lo que le pasa es que su IA ni está ni se le espera

» autor: pedrobotero

#34 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Sun, 13 Oct 2024 09:59:50 +0000

#24 Defíneme qué es razonar. A partir de ahí podremos discutir si la IA va a poder razonar algún día.

La IA, muy resumido, lo que hace es entrenarse y, a partir de ese entrenamiento, dar respuestas.

Es entrenamiento es específico. Rafa Nadal es uno de los mejores deportistas de todos los tiempos, pero me da a mí que si lo pones en natación sincronizada es posible que no sea tan bueno.

Repito ¿qué es razonar?

» autor: Tensk

#33 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

exeware — Sun, 13 Oct 2024 09:34:27 +0000

#32 y el llm de que está hecho? Por que entonces no es un llm es l de lo qie está hecho... Y tu no eres una persona sino un montón de células...

» autor: exeware

#32 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

banense — Sun, 13 Oct 2024 09:28:43 +0000

#25 en este caso si es un modelo largo si sigue siendo un large language model.. eso es independiente de la arquitectura

» autor: banense

#31 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

alexwing — Sun, 13 Oct 2024 09:24:24 +0000

Bueno ya vale para ministro de España entonces.

» autor: alexwing

#30 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

DatosOMientes — Sun, 13 Oct 2024 09:23:49 +0000

#29 Que lo digan a principio de curso, ok. Que lo digan a finales ya sería preocupante.

» autor: DatosOMientes

#29 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Sun, 13 Oct 2024 09:21:54 +0000

#28 Por ejemplo el que me responde a mi comentario #9
O mis alumnos de inteligencia artificial (universidad), usando ChatGPT.

#27 La definición de sentido común es muy amplia.

» autor: --791661--

#28 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

DatosOMientes — Sun, 13 Oct 2024 09:18:41 +0000

#8 Puntualizo la pregunta: ¿quién, con un mínimo de conocimiento de la IA o con 15 minutos de uso de una IA, ha dicho que la IA razona?

» autor: DatosOMientes

#27 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Robus — Sun, 13 Oct 2024 09:09:55 +0000

#8 tambien hay quien dice que la tierra es plana, pero nadie con sentido común piensa que los llm piensen.

» autor: Robus

#26 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

exeware — Sun, 13 Oct 2024 09:00:07 +0000

#19 pero lo estás traduciendo mal, no es el sentido estricto se refiere a la capacidad del modelo para analizar, interpretar y entender información de diferentes tipos (audio, visión y texto) de manera coherente y contextual. Preguntale a. Chatgpt o cualquier modelo si la traducción exacta es razonar o no y verás.
Aunque si como modo de marketing usan la palabra si

» autor: exeware

#25 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

exeware — Sun, 13 Oct 2024 08:54:34 +0000

#16 que usando llm más algo consigan algo similar a razonamiento no quiere de cir q siga siendo llm no? Es otra cosa no es un llm al uso

» autor: exeware

#24 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--824220-- — Sun, 13 Oct 2024 08:50:33 +0000

#6 Sin razonamiento, no puedes hacer inteligencia artificial porque cada 2 por 3 se equivoca, y por tanto quedas limitado a meras utilidades concretas, como por ejemplo buscar cáncer en una radiografía, crear moléculas, etc, pero nunca podrás crear una inteligencia artificial genérica fiable.

» autor: --824220--

#23 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--771462-- — Sun, 13 Oct 2024 08:49:33 +0000

#19 Añado ahora después de mirar más en detalle el paper que también analizan o1-preview y o1-mini. Así que también aplica a mi anterior comentario.

» autor: --771462--

#22 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

juanac — Sun, 13 Oct 2024 08:46:27 +0000

#21 Ok. Quedamos aquí dentro de 30 años

» autor: juanac

#21 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Sun, 13 Oct 2024 08:44:51 +0000

#18 Las redes no tienen "el equivalente a nuestras neuronas" realmente, es una abstracción.
Un LLM no razona, sencillamente. Y si sabes que las redes tienen pesos, también sabrás que no tienen módulos de razonamiento.
Abandono esta discusión absurda.

» autor: --791661--

#20 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

cosmonauta — Sun, 13 Oct 2024 08:41:20 +0000

#10 El o1 se está ofreciendo hace nada. Aparece la opción como o1- preview

» autor: cosmonauta

#19 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--771462-- — Sun, 13 Oct 2024 08:40:31 +0000

#12 Yo he respondido a #2 que quien decía eso y OpenAI lo hace.

Pero vamos, incluso si asumimos que 4o1 realmente sea capaz de razonar, si te vas al modelo anterior 4o que es uno de los analizados en el paper de los científicos de Apple también lo dicen:
"We’re announcing GPT-4o, our new flagship model that can reason across audio, vision, and text in real time."
openai.com/index/hello-gpt-4o/

» autor: --771462--

#18 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

juanac — Sun, 13 Oct 2024 08:40:02 +0000

#17 Una calculadora no cambia sus "pesos" y forma de funcionar según operas con ella. Ni tiene cien mil millones del equivalente a nuestras neuronas con un cuatrillón de conexiones entre ellas. No es buen ejemplo.

» autor: juanac

#17 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Sun, 13 Oct 2024 08:38:26 +0000

#11 Para nada. El cerebro de un mono y el de un humano son muy similares. Y ninguno de los dos funciona como un LLM.
Los monos razonan (menos que un humano, pero razonan), así que añadirle complejidad a su cerebro les permite razonar más.
Una calculadora no razona, y añadirle más "capas" no cambia eso.

» autor: --791661--

#16 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

banense — Sun, 13 Oct 2024 08:38:06 +0000

#12 Si, dice nuevo pero sigue teniendo arquitectura transformer? Porque ese razonamiento no tiene por qué venir directamente del modelo.. Igual que usamos bases de datos de vectores para darle memoria.. quien quita que tengan algo por ejemplo en lugar de vectores grafos ? Pero siguen siendo transormer..

» autor: banense

#15 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

exeware — Sun, 13 Oct 2024 08:34:44 +0000

#4 donde lo dicen?

» autor: exeware

#14 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

exeware — Sun, 13 Oct 2024 08:34:19 +0000

#8 la gente que sabe ninguna fijo.

» autor: exeware

#13 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

ikipol — Sun, 13 Oct 2024 08:31:54 +0000

#1 nada más hay que leer en menéame para comprobarlo

» autor: ikipol

#12 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

exeware — Sun, 13 Oct 2024 08:31:36 +0000

#10 fijate que dice New. Ese modelo es otro sistema diferente al llm tradicional, solo hay que fijarse en el precio para saber q es otra historia.

» autor: exeware

#11 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

juanac — Sun, 13 Oct 2024 08:30:19 +0000

#9 Algo similar se puede decir del cerebro de un mono vs el de un humano.

» autor: juanac

#10 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--771462-- — Sun, 13 Oct 2024 08:27:04 +0000

#2 OpenAI mismo en sus anuncios de nuevos modelos:
"We are introducing OpenAI o1, a new large language model trained with reinforcement learning to perform complex reasoning. o1 thinks before it answers—it can produce a long internal chain of thought before responding to the user."
openai.com/index/learning-to-reason-with-llms/

» autor: --771462--

#9 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Sun, 13 Oct 2024 08:26:57 +0000

#5 Los LLM no aumentan su capacidad de razonamiento con más capas. Actualmente no razonan nada de nada, a pesar de su enorme complejidad. Lo que hacen es predecir textos de salida en función de textos de entrada, comparando con millones de agrupaciones de textos de entrada y de salida.
Por más capas de deep learning que le pongas a eso, lo que consigues es mejores predicciones. Pero son predicciones, no razonamientos.

» autor: --791661--

#8 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

--791661-- — Sun, 13 Oct 2024 08:23:54 +0000

#2 "¿Quién ha dicho lo contrario?" Mucha gente.
Sencillamente no entienden que no haya razonamiento ahí si le preguntas algo y te contesta con sentido.

» autor: --791661--

#7 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Aergon — Sun, 13 Oct 2024 08:17:55 +0000

#4 Para que veas de que poco sirven esos test de inteligencia.

» autor: Aergon

#6 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Tensk — Sun, 13 Oct 2024 08:11:36 +0000

¿Cuándo dijo alguien que razonaban? En fin, afirmando lo obvio.

» autor: Tensk

#5 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

juanac — Sun, 13 Oct 2024 08:11:21 +0000

Yo creo que es cuestión de tiempo. Igual que en el cerebro humano se desarrollo una nueva capa/neocórtex, daremos con la forma de poner otra capa a las redes actuales. Quizá dependa de una revolución energética que lo permita, no lo niego, pero yo soy de los que cree que esa capacidad de razonar llegará en breve, en menos de 100 años.

» autor: juanac

#4 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

chavi — Sun, 13 Oct 2024 08:10:30 +0000

Vaya....no me lo esperaba

Pues dicen que nosequé de su cociente intelectual y que son más listos que la media...

» autor: chavi

#3 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

axisnaval — Sun, 13 Oct 2024 08:08:55 +0000

Si no se le exige razonar a las élites mundiales no nos vamos a andar con detallitos con la IA.

» autor: axisnaval

#2 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

cosmonauta — Sun, 13 Oct 2024 08:08:23 +0000

¿Quién ha dicho lo contrario?

Lo interesante del tema es que han propuesto un benchmark.

» autor: cosmonauta

#1 Un estudio de Apple demuestra que los modelos de IA basados en LLM son defectuosos porque no pueden razonar [ENG]

Asimismov — Sun, 13 Oct 2024 08:07:16 +0000

Bueno ¿Y qué?
Eso de razonar está muy sobrevalorado.

» autor: Asimismov