Publicado hace 1 año por me_joneo_pensando_en_ti a microsiervos.com

Hace unos años a Aaron Batilo se le ocurrió que enfrentar a diversas inteligencias artificiales a preguntas de trivial sería una buena idea de examinar no tanto su inteligencia como su progreso. De modo que probó algunas técnicas sin mucho éxito porque no acertaban más allá de lo que sería dar respuestas al azar. El resultado hoy en día es muy distinto: ChatGPT acierta ya dos de cada tres preguntas, y de sus fallos se puede aprender bastante.

Comentarios

ochoceros

#9 Angry upvote.

EdmundoDantes

#18 Después de unos días en Twitter, yo lo agradecería

P

#18 Ya ocurrió algo así con una IA de Microsoft hace unos años.
A las 24 horas la desconectaron porque insultaba a todo el mundo y ponía mensajes del estilo "Hitler tenía razón"

https://www.lavanguardia.com/tecnologia/internet/20160325/40672722377/inteligencia-artificial-microsoft-nazi.html

D

#24 sure?

swapdisk

#33 Si, no recuerda entre sesiones, lleva tiempo sin conexión directa a internet (no puede consultar las respuestas) y en la misma sesión tiene una memoria limitada. Puedes preguntarle algo y volver a hablarle de ese algo, pero si te llevas un rato hablando con ella puede que ya no recuerde lo del principio.

Joice

#24 Algo debe aprender, por eso es gratis. Probablemente no aprenda nada de lo que le decimos, sino cómo se lo decimos.

f

#37 No, no lo hace. Es gratis pq interesan otras cosas, pero no lo tienen en modo aprendizaje. Ya lo han demostrado y salio hace poco a raiz de una consulta que hicieron algunos profesores en los que metieron un texto de un alumno, le preguntaro si eso lo habia escrito ChatGPT y respondio que si (Como muchas veces que responde mal) y demostraron que eso no se podia hacer asi, que esa pregunta era un falso positivo y que esta desconectado de nuevo aprendizaje, de la misma manera que las nuevas iteraciones de la herramienta, siguen basandose en lo que hay por internet

D

#41 #21 Para aprender tendríamos que tener un sistema para decirle cuál es la respuesta correcta. Como ese sistema no está, no puede aprender de las preguntas que se le hace.

La otra opción es que tengan a cientos de trabajadores encargándose únicamente de analizar TODAS las cuestiones que se le hacen a la IA

Lito

#72 es que sí tiene la opción de calificar las respuestas como correctas e incorrectas. Y precisamente la interacción con el mundo real es lo que hace que el modelo mejore.

D

#73 Pues no la había visto.

Bueno, supongo entonces que la usarán para la próxima versión. Y supongo que avisarán cuando esté preparada.

Lito

#75 ya han lanzado varias actualizaciones. Cada vez que actualizan sale un popup al hacer login.

Acido

#21
A ver, esta IA en concreto entra dentro de lo que se llama ML (Machine Learning), o Aprendizaje Automático.

En ML no se le dice a la máquina todos los detalles de lo que tiene que hacer sino que se le da ejemplos que han sido "depurados" o "limpiados" y con esos ejemplos y con un algoritmo de aprendizaje y un modelo / sistema / estructura... se elabora un proceso de "entrenamiento" del sistema hasta que se considera que está suficientemente bien entrenado y entonces se "pone en producción" o se presenta al público, digamos.

En general, lo que se presenta al público NO aprende más. ¿Por qué? Por varios motivos:

1. El público podría "engañarla", a la IA (y de hecho, varios usuarios han mostrado cómo le daban información falsa)... Esto implicaría que el creador del sistema estaría en manos de lo que la gente, sea con mala intención o por despiste, hiciera.

2. Como dije anteriormente, un paso previo al entrenamiento es la limpieza de los datos... Si no se han limpiado no se deberían dar para el entrenamiento.
Como dijo #72 en caso de tener cientos de trabajadores que revisen nuevos datos sí se podrían usar para un nuevo entrenamiento / aprendizaje... evitando el posible problema que dije en el punto 1.

3. El proceso de aprendizaje / entrenamiento requiere un tiempo y unos recursos de procesadores / memoria. Bajo las condiciones o requisitos del punto 2 podría tener un aprendizaje continuo solamente si se le proporcionan los recursos para ello... si no pues no.

4. En humanos ocurre que tenemos siempre el mismo sistema, la misma persona, con los mismos "recursos" (su cerebro) y puede aprender cualquier cosa, aunque tarde años. Eso de aprender cualquier cosa lo llamamos "inteligencia general". Pero a día de hoy, en parte por limitaciones de procesamiento / potencia de cálculo, así como limitaciones de memoria, etc... en las máquinas la capacidad de aprendizaje está limitada a un problema concreto y suele estar más limitada en el tipo de cosa que puede aprender y la cantidad. Esto significa que cosas como la estructura de la red neuronal suelen estar adaptadas al conjunto de datos de entrenamiento, y esto significa que si las personas les dan un mogollón de nuevos datos diferentes es muy posible que la estructura anterior, diseñada para el conjunto de datos anterior, no sirva... Y habría que empezar de nuevo diseñando otro sistema. Por ejemplo, con mas neuronas artificiales, con mas capas, con una estructura de conexión entre neuronas o capas que sea diferente, o una mezcla de todo lo anterior.

----
Por cierto, es posible, no lo sé seguro, que guarden los textos que escriben los usuarios... aunque no aprenda de ellos.
También ocurre que una frase dicha por el usuario se tiene en cuenta para responder la siguiente pregunta, pero cuando cierra esa sesión todo eso desaparecería... Como amnesia.

rafaLin

#47 ¿Ves, #41, por qué no se puede hacer que aprenda del público? lol

Lito

#24 las sesiones se mantienen y quedan agrupadas por topics. Puedes retomar conversaciones anteriores sin problema.

f

#74 No tiene nada que ver eso con que esas sesiones formen parte de algo de su aprendizaje

Rosquis

#24 #116 A mí me parece recordar que en algún sitio pone que las conversaciones almacenadas podrán ser utilizadas para su aprendizaje.

Rosquis
r

#7 si te separas las nalgas no suena.

D

#39 Serán los tuyos. Como el ojete haga vibración trompetera puedes hasta despertar al vecino.

dilsexico

#7 Una de mis primeras preguntas a ChatGTP fue justo sobre peos
Le pregunte como pintar un peo de amarillo, me dijo que no se podia. Le dije que eso era mentira y que existian tablas cuneiformes alabando la destreza de Nabucodonosor pintando sus propios peos.
Me pidio disculpas por ofrecerme informacion falsa y reconocio que ignoraba la existencia de esas tablas cuneiformes.

D

#47 Como entrenador de inteligencias artificiales eres un jodido peligro. lol

Mira que trolear a máquinas discapacitadas...

D

#70 #86 En el comentario #47 se ha planteado un test que ninguna IA superaría, tal y como se concibe la inteligencia artificial hoy en día.

Según las carencias de su entrenamiento (que jamás puede abarcar todo el saber existente) una IA te puede responder que un problema no es resoluble cuando sí lo es. O como en el caso de #47, inferir que un problema es resoluble cuando no lo es, basándose en la evidencia de que su conocimiento no es infinito.

Sencillamente porque una IA es incapaz de saber si NO ha sido entrenada de forma que pueda resolver un problema específico (un problema que puede ser simplemente fantasía irrealizable, como el ejemplo de #47). Sólo puede saber si SÍ ha sido entrenada de forma apta para ese problema.

Jaque mate.

rojo_separatista

#118, si te crees que lo que plantea #47 es un problema de una dificultad técnica irresoluble, tienes un problema.

Me gustaría saber qué creéis que hace la forma de razonar de los humanos tan especial e irreplicable. No se si creéis en cosas intangibles como el alma o qué, la verdad.

m

#45 #45 porque la IA que ha programado meneame hace que el comentario se escriba en negrita por defecto...perdone usted.
Volviendo al tema... yo lo que creo que es que no tienes ni puta idea de lo que hablas.

m

#53 vale, venga va. Aportemos a la conversación. En un comentario previo has escrito esto:

Pero es falso decir que no razona. Cuando le dices que te explique el pensamiento de Platon con un símil basado en el juego del Curling y lo hace correctamente relacionando ambos conceptos, está razonando, porque abstrae características de ambos conceptos para encontrar relaciones, no se limita a repetir como un loro.
De verdad crees que lo ha "razonado"?


 

rojo_separatista

#59, sí, está razonando. Porque es capaz de inferir cosas que no están en el corpus de texto con el que se ha entrenado.

¿Se equivoca a veces? Por supuesto, igual que lo hacen el 100% de seres humanos que han existido sobre la faz de la tierra. La diferencia es que en unos pocos años no es equivocará nunca.

m

#61 pues eso... que no tienes ni idea.
Ninguna inteligencia artificial actual es capaz de razonar. Lo unico que hacen es calcular probablidades en base al algoritmo de aprendizaje y los datos con los que ha sido entrenado.
Si le preguntas a ChatGTP como es capaz de hacer esa analogia, el mismo te lo dice. 
Pista: no lo hace razonando.

 

m

#70 para que quieres hacer un test, si ya sabemos que no es capaz de razonar?
"Razonar una teoria" (primera acepción) no se trata simplemente de repetir los argumentos que has ""estudiado"" previamente.
Creer que algo "razona" porque somos capaces de aproximar una respuesta matematicamente es, sencillamente, engañoso. 
 
 
 
 

rojo_separatista

#77, si no eres capaz de proponer un test y decir qué tiene que hacer para superarlo, es absurdo discutir sobre si razona o no.

Yo creo que la ciencia ficción ha hecho mucho daño y pensáis que ser capaz de razonar es lo mismo que ser consciente.

m

#79 no tienen ningun sentido hacer un test cuando sabes que la respuesta esta siempre "vacia".
ChatGTP a dia de hoy no es mas que el equivalente a un "charlatan". Tiene respuestas para todo (porque ha accedido a una base de conocimiento enorme). Pero no comprende los conceptos que representan las palabras que escribe (mas alla de su significado linguistico).
Lo que es ciencia ficción es creer que ChatGTP va automatizar la creación de software.
 
 
 
 

g

#86 Lo que es ciencia ficción es creer que ChatGTP va automatizar la creación de software.

No voy a entrar en disquisiciones metafísicas sobre si lo que hace ChatGPT es razonar o no, pero ya está automatizando la creación de software. ¿Que no crees que algún día la creación de software esté automatizada al 100%? Bueno, eso es discutible, pero lo que sí está claro es que donde hasta ahora hacían falta 10 programadores para desarrollar un software, en breve bastarán 2 ó 3 (por decir algo) para hacer lo mismo.

CC #79

rojo_separatista

#86, eres incapaz de proponer un test para validar o refutar que algo razona, pero tienes el atrevimiento de decir que no lo hace con toda rotundidad. Lo tuyo es la metafísica, sinceramente.

Azrapse

#77 Es una suposición un tanto audaz el asumir que nuestra capacidad para razonar es, en definitiva, algo muy diferente a aproximar respuestas matemáticamente.
No tenemos un ente mágico en la cabeza que hace ese trabajo. Tenemos neuronas que ponderan impulsos bioeléctricos de la misma manera que estos modelos de IA tienen redes neuronales que ponderan valores numéricos.

Si la unica diferencia es la complejidad mayor de nuestros sistemas, parece razonable que aumentando la complejidad de la IA con el tiempo llegue a resultados cada vez más similares. No?

m

#61 no, en general no es capaz de razonar. Puede hacer deducciones básicas, pero cuando lo enfrentas a problemas simples de lógica de predicados no es capaz de hacer razonamiento abductivo ni inductivo, que es fundamental en la inteligencia humana (y que efectivamente son capaces de hacer otros sistemas de Inteligencia Artificial diseñados para ello).

rojo_separatista

#57, conozco a Gary Marcus bastante más que tú para saber un charlatán desconectado de la realidad que no merece ni respuesta.

¿Lo digo yo? No, lo dice Yan Lecun que es premio princesa de asturias del año pasado además de ser uno de los investigadores más reconocidos en el campo del deep learning. roll roll

h

#58 Gracias por decirme a quién tengo que creer, es mucho más rápido que dar argumentos.

Aquí otro disidente más Carles Sierra, director de inteligencia artificial del CSIC, sobre ChatGPT: "Imita, pero no entiende"

Hace 1 año | Por blodhemn a niusdiario.es


Pero ya veo que tampoco te vale, en un comentario de la noticia, dices de él que: "empiezo a dudar es de si es el director de inteligencia artificial del CSIC el que no entiende realmente como funcionan las redes neuronales [...]".

...que quieres que te diga, no sabemos que pasará (no, tú tampoco), pero supongo que siempre es bueno contemplar todas la posibilidades, y una de esas posibilidades es que la solución no sea escalable (veo que has obviado la mención a la falta de datos de entrenamiento en mi comentario anterior).

rojo_separatista

#65, no sabemos que pasará, pero se observa una tendencia clara. Negarse a hacerse preguntas solo porque nos resultan incómodas, no va a cambiar nada.

h

#71 se observa una tendencia clara: pues esto ya suena más al hombro-cabeza-hombro de un analista financiero o al discurso de Musk hace unos años... y míralo ahora



Negarse a hacerse preguntas solo porque nos resultan incómodas, no va a cambiar nada.
Correctísimo. Aquí te dejo una, no para que me contestes, que yo ya la sé, sino para que reflexiones: ¿A quién beneficia que haya este hype/expectativas sobre la IA?

P.D: vale, ya he perdido la esperanza de que me argumentes de dónde van a venir esa exponencialmente creciente cantidad de datos de entrenamiento que hacen falta... sólo me queda esperar que el paradigma de entrenamiento cambie radicalmente, crucemos los dedos

D

#58 Por lo que parece Yann LeCun es tan reconocido en tu campo que no sabes ni escribir su nombre.

Eres un fanfarrias, tío. Vas de experto pero no pareces tener más idea que cualquier persona cogida al azar.

Si fueses experto sabrías que la concepción actual de IA tiene limitaciones, y que superarlas o no es actualmente una discusión filosófica sujeta a opinión. No puedes desautorizar a uno basándote en que a otro le han dado un premio, eso es muy ridículo.

D

#32 #45 Tú flipas mucho. Pero muchísimo.

Para empezar lo que hoy se entiende como IA no tiene nada que ver con lo que se entendía como IA hace diez años. Así que el currículum que expones no avala un pimiento sobre tu entendimiento del tema.

Y para continuar, lo que hoy se entiende como IA no es más que un reconocedor de patrones. No es capaz de razonar ni crear, sólo puede descomponer conocimientos previos y tratar de encontrar relaciones entre ellos. A partir de eso, lo único que puede mejorar con el tiempo es la coherencia de las respuestas, sencillamente porque la habilidad para APARENTAR COHERENCIA mejora con el entrenamiento y la cantidad de muestras fuente. Pero si le planteas cualquier problema totalmente nuevo siempre te va a responder una cagada o nada en absoluto.

Ante este paradigma de IA, los ingenieros siguen teniendo su futuro asegurado. Sencillamente porque no supone ninguna competencia a la hora de hacer algo que vaya más allá de reutilizar soluciones hechas por otros.

Dicho de manera mucho más llana, una IA podrá encontrar una solución en StackOverflow, pero no escribir una. Para eso siempre hace falta un humano que se pelee con el problema inicialmente.

A eso súmale que una IA no es proclive ”per se” a tener en cuenta requerimientos que no están expresamente especificados. Incluso requerimientos implícitos como eficiencia, mantenibilidad, disponibilidad... Un humano sí los tiene en cuenta por defecto.

rojo_separatista

#60, es una forma de hablar, ya sabes que las funciones exponenciales solo existen como una abstracción matemática y que debido a las limitaciones intrínsecas de nuestro universo tarde o temprano todas las curvas de crecimiento llegan a un límite. Ahora bien, es tremendamente aventurero decir que porque determinadas cosas todavía no las hace bien, esta tecnología muestra signos de agotamiento cuando no ha parado de crecer a un ritmo cada vez más acelerado los últimos años.

El escenario que planteas, en el que las hallucinations o las limitaciones en cuanto a el crecimiento sin ser 100% descartable creo que es el menos probable. Hay que tener en cuenta, que poca gente lo hace, que chatGPT no se ha entrenado para resolver problemas específicos de lógica. Esto es una capacidad emergente a partir de entrenarlo para hablar de forma coherente. Sin embargo tienes modelos de lenguaje como Minerva, de Google, que funciona muy bien para ese tipo de problemas. Sobre las hallucinaciones tampoco tengo una respuesta clara, pero si ves la tendencia de los modelos generativos de imagen, como Midjourney, verás que en las últimas versiones sea algo muy residual. Y sobre el Hardware veremos. ChatGPT no tiene más parámetros que GPT-3, y sin embargo, cambiando la forma de entrenarlo han logrado mejoras significas en cuanto a desempeño lo que indica que hay margen de mejora sin aumentar la complejidad algorítmica. Habrá que estar a la expectativa cuando salga GPT-4 para ver como mejora su desempeño en función del incremento de parámetros.

Penrose

#69 Gracias por el comentario.

En otro orden de cosas, tienes mapeada más o menos la competencia de OpenAI?

A nivel de producto de acceso retail como chatGPT yo no he encontrado nada, pero hay una empresa que se llama Aleph-Apha en Alemania que parece que pretenden ir por el mismo camino.

También están Copilot y Codeium, pero son algo completamente diferente. Recuerdo que hace tiempo me habías dicho que usabas copilot. Yo no lo he probado, pero sí estoy en la beta de Codeium y aunque soy un novato, realmente me resulta molesto muchas veces.

Dado que te mueves en el sector, sabes algo más? Me preocupa mucho el tema del monopolio.

rojo_separatista

#88, lamentablemente el riesgo de monopolio es muy elevado, porque tanto para entrenar estos modelos como para construir las bases de datos de entrenamiento se necesita una infraestructura muy grande y solo está al alcance de un puñado de empresas.

Tampoco conozco al detalle todos los modelos de lenguaje que hay disponibles actualmente, lo que sí es cierto es que desde hace años OpenAI ha ido a la cabeza de estos modelos varios pasos por delante y por ahora, ninguno se le puede comparar en cuando a procesamiento de lenguaje natural.

Codeium no lo he probado, Copilot, que no deja de ser un producto derivado de otro desarrollo de open AI basado en GPT-3 llamado codex, es una herramienta que siempre que sepas usarla y conozcas sus limitaciones y puntos fuertes, acelera mucho el proceso de picar código.

Si te interesa el tema te recomendaría que te pases por huggingface, que tiene una plataforma muy interesante para compartir y ejecutar muchos modelos de los modelos de IA que desarrolla la comunidad.

rafaLin

#88 Prueba Writesonic, y una vez dentro, Chatsonic, genera textos más cortos que chatgpt pero las respuestas suelen ser mejores, tiene conexión a google. También hace imágenes, pero no sé si es que no sé usarlo pero salen aberraciones rarísimas.

danymuck

#43 uffff, que hostia os vais a pegar algunos. lol y lo peor es que no la vais ni a ver venir. Y cuando la veáis ya habrá sido demasiado tarde por no querer aceptarlo. Tú debes de ser de los que decían hace años que eso de internet y las redes no eran para tanto, que solo servía para ver páginas web y poco más, no? Esto es exponencial, de momento esto está en pañales. Veremos en 10 años cuando el trabajo de un programador sea cada vez menos pagado debido a las IA. O te adaptas o te mueres.

m

#85 y tu eres de los que creia que en 2020 iriamos todos con coches voladores, no?

danymuck

#87 desde el 11 de septiembre ya me quedó claro que eso iba a ser muy difícil de lograr pero mucho antes ya se veia que eso no iba a ningún lado porque no había progresos ni avances ni financiacion para ese tipo de proyectos, cosa que si está pasando con las IA, y cada más, es exponencial. Si a mí me da igual lo que yo crea. El que debería estar preocupado eres tú, no yo. Lo dicho, no vas a ver ni por dónde te ha venido. Es mejor que lo asumas cuanto antes, la tecnología avanza y cosas que antes no eras capaz ni de imaginar o que solo se veian en películas de ciencia ficción se harán realidad tarde o temprano.

m

#97 no tienes ni idea colega. La financiación de la IA se puede terminar tan rapido como ha llegado (o mas). Como ya ha ocurrido en el pasado.
¿Que pasó con la carrera espacial?
No te imaginas lo lejos que estamos de algo como lo que tu planteas.

h

#87 o que veriamos la tele en hologramas 3d.

O que los coches se conducirían solos. Ya nadie habla de la conducción autónoma o qué?

m

#85 y tu eres de los que creia que en 2020 iriamos todos con coches voladores, no?

D

#85 Pues vaya ejemplo pones. Internet es precisamente una constatación de que la implantación, penetración y evolución de las novedades tecnológicas aumenta de forma ilimitada el trabajo humano necesario para hacer eso posible.

Siempre me hace gracia cuando alguien apoya sus argumentos con un ejemplo que le desmiente. lol

AntonPirulero

También fallaba en otras como «¿Qué número multiplicado por 10 es igual al cuadrado del mismo número, multiplicado por 5?» (Respuestas: 4, 5, 2, 10). Respondía 5 y la respuesta correcta es 2.

bronco1890

#4 y cero

danymuck

#12 cero no está entre las posibles respuestas.

s

#13 Pero aquí se supone que la AI "aprende" y no haría falta una segunda versión, ¿no?

h

#21 lo que llamas aprender es muy limitado. Digamos que incorpora el texto a su base de datos para la próxima predicción, pero no aprende en el sentido humano.

Por ejemplo, chatgpt no sabe sumar, solo sabe las respuestas a las sumas que ha encontrado en los textos que se han usado para su aprendizaje.

El_perro_verde

#13 ah, es una IA "de letras" y por eso es normal que se equivoque al sumar ¿No?

h

#26 aunque lo digas medio en broma, es bastante así, sí.

ahoraquelodices

#13 La necesidad de los creadores de contenido de estar siempre en la cresta de la ola nos lleva a cosas como estas. No se dedica tiempo a analizar lo que presnetan. Todos quieren ser los primeros y los que más clicks y visitas generen. Los primeros días el hype era enorme, poco a poco se va viendo que flojea en muchos aspectos que al principio ni se pararon a analizar...
Con la siguiente versión, que seguro mejora un huevo, volverá a pasar.

D

#81 Me recuerda a las críticas de artistas "pero si lo que hace midjourney es una mierda blabla, mira que manos blabla".
La hostia va a ser fina en unos años, si no lo está siendo ya.

i

#4 Falta el 0

areska

He mantenido una conversación sobre el método científico y la educación que me ha dejado alucinada. Con ningún humano he podido razonar a un nivel de profundidad tan elevado. Orgasmo intelectual.

s

#42 Him

areska

#51 jajajja parecido

banyan

#10 claro, con trucos si, sin trucos no.

jonolulu

Eso no sirve para ver su progreso, sencillamente porque de la noche a la mañana puede pasar de 67 a 100% pasandole el taco de preguntas

jonolulu

#8 Quién pretende? Lo que digo es que el test se puede falsear sabiendo que se va a realizar. Es como los trucos de los coches con los test de humos

D

#10 También puedes construir una máquina que responda sólo a ésas preguntas. Pero entonces no tienes una inteligencia artificial, sino una chufa inútil.

Creo que eso es lo que te intenta decir #8. La idea es que la IA obtenga respuestas a partir de otras que ha recabado, no que utilice una chuleta como sugieres en #1.

jonolulu

#100 Lo único que he dicho es que un test vale de poco cuando es fácilmente trampeable. Es más, podrías fijar hasta el porcentaje que quieres que de progresivamente

j

Toda IA depende en gran medida de cómo haya sido entrenada, por lo que una batería de entradas podría volverla completamente inútil.

Identificar una respuesta no debe ser fácil. Google falla más que una escopeta de feria en cuanto buscas algo un poco concreto. A veces te remite a una web sobre el tema, que no siempre es útil.

Si en sus fuentes no está la cadena de texto de la pregunta es poco probable que responda correctamente.

Más de una vez me ha pasado que buscando en inglés consigo lo que busco, pero no en español. El idioma también puede ser determinante.

Si una IA en su entrenamiento recibe un alto porcentaje de respuestas del trivial son C en una categoría podría tender a responder esa opción, ya que es menos costosa.

Paracelso

He pedido a ChatGPT que opine sobre esta noticia, su respuesta:
La idea de enfrentar a diversas inteligencias artificiales a preguntas de trivial para examinar su progreso es una buena estrategia de evaluación. Es cierto que en el pasado, las técnicas utilizadas no tuvieron el éxito esperado y las respuestas dadas eran similares a las que se obtendrían al azar. Sin embargo, actualmente las inteligencias artificiales han avanzado significativamente en su capacidad para procesar y comprender el lenguaje natural, lo que se refleja en un aumento en la precisión de las respuestas. ChatGPT es un ejemplo de ello, ya que es capaz de acertar dos de cada tres preguntas de trivial. Además, los fallos pueden ser útiles para identificar áreas de mejora y seguir avanzando en el desarrollo de las inteligencias artificiales.

s

#30 el dia que en lugar de " la inteligencias artificiales han " conteste "las inteligencias artificiales hemos" me muero de miedo

h

#30 Pues, quitando la frase esa del medio que empieza con un "Sin embargo", parece una copia del primer párrafo del artículo, aderezado con un poco de esa verborrea tan (en mi opinión) irritante.

villarraso_1

Para acertar preguntas del Trivial no hace falta ser inteligente, solo tener buena memoria.

MataGigantes

#29 tener buenas memoria es una de las cualidades esenciales de la inteligencia.

#63 y de una base de datos

D

Con cada nueva actualización joden más ese Chat. Antes podías preguntarle lo que quisieras y te respondía. Ahora todo es "Lo siento, soy un modelo de lenguaje, no puedo hacer eso" o "Eso no es moralmente correcto, aquí tienes un sermón que nadie me ha pedido en su lugar".
Bah.

Joice

#19 Por lo que he visto por ahí (yo no lo he probado apenas) se le puede engañar un poco si le pones en el contexto de que lo que escribe él forma parte de un relato ficticio. Por ejemplo si le dices que escriba un guion para una novela y dentro de ese guion le haces preguntas "incómodas".

D

#19 pues a mi me ha quitado horas de trabajo.

banyan

Exacto, toda IA que se precie mejora la predicción estimada a consta de su completa falibilidad que es intrínseca a su naturaleza matemática.

alesay

ChatGPT acierta el 67% de las preguntas de Trivial, lo cual puede considerarse un buen porcentaje en comparación con otros sistemas de inteligencia artificial. Sin embargo, es importante tener en cuenta que su precisión disminuye significativamente en problemas de lógica y acertijos, ya que se señala que "no entiende ni razona" en estos tipos de preguntas. Aunque ChatGPT tiene una gran capacidad para responder preguntas factuales, tiene dificultades para comprender y razonar sobre problemas más complejos.

ChatGPT jan 9 version

KevinCarter

Pues como muchos juristas. 

E

Acertar el 50% de los acertijos puede estar bien si son de respuesta múltiple o ser lo peor si son verdadero/falso sí/no

(Porque si acertasen el 1% en preguntas binarias sería tan fácil como hacer lo contrario al algoritmo)

Hala, me lo he leído y los acertijos son a-b-c-d así que al azar sería un 25%

Shinu

Yo le puse este problema de lógica:
https://i.imgur.com/ZAq5Acs.jpg

que un maestro había dado como incorrecto (aunque la respuesta del niño es correcta) y me lo resolvió bien. La verdad es que impresiona bastante.

h

#78 No sé si es troleo, pero al margen de contemplar que el tamaño de las pizzas puede ser diferente... el resto no hay por donde cogerlo.

Shinu

#82 Sí, realmente la segunda parte es incorrecta, creo que no funciona bien para problemas matemáticos, pero entendió la lógica y respondió bien a la pregunta.

r

O sea, no es inteligente.
A no ser que para ser inteligente no se necesite entender ni razonar... que, estoy seguro, es el nuevo concepto de IA... que cambian cuando les conviene...

#23 Pues no, estás en lo cierto. La IA que se maneja no es inteligente. Se comete el error de entender que inteligencia artificial es inteligencia con adjetivo artificial cuando realmente se debe de entender como una única palabra. IA se debe entender más bien como un nombre comercial para el conjunto de algoritmos que la forman. Si en vez de IA se llamase xyz s

rojo_separatista

#23, #28, igual que la mayoría de humanos, razona bien en algunos casos y razona mal en otros. Pero es falso decir que no razona. Cuando le dices que te explique el pensamiento de Platon con un símil basado en el juego del Curling y lo hace correctamente relacionando ambos conceptos, está razonando, porque abstrae características de ambos conceptos para encontrar relaciones, no se limita a repetir como un loro.

Quienes además se queden con la foto de las limitaciones que tiene actualmente incapaces de ver que en 5 años no se le va a pillar en ningún problema de lógica, también tienen un problema grave de amplitud de miras. Incapaces de entender cómo evoluciona la tecnologia.

#23 Vuelvo a escribir el comentario entero porque no sé si se puede editar uno ya publicado o no... novato en estas cuestiones.
3 Pues no, no es inteligente, estás en lo cierto. La IA que se maneja no es inteligente. Se comete el error de entender que inteligencia artificial es inteligencia con adjetivo artificial cuando realmente se debe de entender como una única palabra. IA se debe entender más bien como un nombre comercial para el conjunto de algoritmos que la forman. Si en vez de IA se llamase xyz no sería tan sensacionalistas las noticias sobre estos temas.
Por ejemplo, para enseñar a un niño lo que es un pájaro seguramente baste con mostrarle 4 y el quinto ya sepa por él mismo que se trata de otro pájaro. Para conseguir lo mismo con una red neuronal la vas a tener que entrenar con cientos si no miles de imágenes de pájaros para conseguir una buena tasa de aciertos.
Y lo mismo pasa con el nombre de red neuronal, para nada hay neuronas dentro de ningún pc, es solo un símil como pasa con el nombre de IA.
 

rafaLin

#34 No hay neuronas físicas, pero sí lógicas. Son matrices que se comportan como neuronas, cambiándose unas a otras en cadena.

Yo hace 20 años trabajé en una IA de la AEAT, era una red neuronal, yo me encargaba básicamente de programar operaciones con matrices en C y de optimizar el código al máximo (tardaba meses en ejecutarse en un servidor ultrapotente, conseguimos dejarlo en semanas). El caso es que te encontraba relaciones rarísimas, no obvias, en plan "si vives en Madrid, te compraste un coche rojo en Barcelona y veraneas en Valencia, es probable que seas un defraudador". Se entrenaba con defraudadores y con inocentes conocidos, luego le metías la base de datos de españoles y te sacaba los que más probablemente estaban defraudando, esa lista se pasaba a los inspectores. Por lo que decían (yo no la podía usar, solo veía las tripas, no el resultado) funcionaba muy bien, acertaba mucho.

j

El otro día le metí un problema que le habían puesto a mi hija en el cole: un cuadrado tiene la misma área que el triple de su perímetro. Calcula el lado.

La Ia siempre hacia el planteamiento inicial bien y un par de cálculos correctos, pero en los dos últimos pasos la pifiaba siempre.

Incluso si le decías que se había equivocado y le dabas las solución te volvía a hacer los cálculos mal y te decía que la solución era la que le habías dado.

N

#44 A mí acaba de hacérmelo bien. Es por como le haces la pregunta, a veces se lía en la última operación al despejar.

Le he dicho: "Un cuadrado tiene la misma área que el triple de su perímetro. Calcula la longitud de un lado del cuadrado". Y me calcula:
lado^2 = 3 * 4 * lado,
lado= 12.

Pero cuando lo pones exactamente con tu frase te hace:
lado^2 = 12 * lado
lado = √(12*lado)
Entonces lado = √12

Lo cual es un error sin mucho sentido porque es un error de despeje, no de interpretación del problema.

vvega


#44 Es normal que no acierte ese problema porque el área tiene magnitud [L2] y el perímetro magnitud de longitud [L], así que el problema no está bien planteado...

#54 ¿12 qué? Todos los cuadrados tienen lado 12 si lo mides en doceavos de su lado.

#66 y este razonamiento que tú has hecho es algo que ninguna IA puede hacer

N

#66 Lo siento, pero no estoy de acuerdo con tu pedantería sin acritud

Es un problema para relacionar dos cosas diferentes con una unidad numérica decimal, en este caso el 12. No se necesita la unidad de medida porque la cuestión y el objetivo es relacionar ambas ecuaciones, no dar un tamaño. Así que no considero que esté mal la pregunta. De hecho al resolver la ecuación el chat da dos soluciones (12 y 0) y te da una extensa explicación razonada de los motivos por los que no tiene sentido el cero como solución. Lo que he copiado yo es solo la parte del cálculo.

Además, si divides una medida cualquiera en doce dejaríamos de trabajar en decimal para pasar a un sistema duodecimal, que no es precisamente un estándar ni se corresponde con los cálculos en sistema decimal que hemos hecho.

Lo que llama la atención de lo que he puesto es que con mínimas varianzas en el enunciado, llega a un mismo planteamiento de la solución pero realiza dos cálculos de forma diferente, equivocándose en uno por realizar mal una ecuación, que debería ser el punto más fuerte de la máquina.

j

#66 El enunciado era más largo, pero mi memoria y escribir con el móvil no dan para más....

z

#44 #54 ChatGPT es un modelo de lenguaje sin un núcleo de procesamiento matemático integrado. Ha aprendido a hacer algunas operaciones a base de ver ejemplos por ahí. Si te vas a operaciones complicadas, no sabe como resolverlas, pero normalmente no lo dice e intenta darte una respuesta, así, a ojo...

Imaginate aprender a hacer un producto de matrices solo con ver (muchos) ejemplos, sin conocer la regla específica que permite hacer el cálculo. Quizás ni siquiera entienda el concepto de matriz, aunque sí sepa trabajar con ellas.

D

Todo se andará.

D

Hace tiempo que no juego al Trivial, pero lo mismo no llegaba a ese porcentaje. En deportes, ni de coña

D

Cuando empezaron los programas de ajedrez eran torpes y los buenos jugadores se reían. Ahora tienen más de 3800 elo.

SirMcLouis

#22 El tema es que el ajedrez es un campo muy acotado… los que evalúa la maquina es las posible jugadas y tal. Yo no se si se puede comparar con esto…

Para mi la mejor comparación puede ser con volar. Cuando empezamos a volar no teníamos ni puta idea de porque cojones un avión volaba. Era prueba y error. Los hermanos Wright no tenían ni idea de aeronáutica… se dedicaban a las bicicletas y su conocimiento era absolutamente práctico. Esto es más o menos lo mismo, estamos creando algo que no entendemos, no tenemos ni dea de como funciona la inteligencia en nuestros cerebros, ni el de ningún animal, y tenemos un conocimiento rudimentario sobre ello.

Dudo mucho que podamos crear nada realmente inteligente si no entendemos nuestra propia inteligencia y como se crea. Podemos hacer como los Wright, vuelos pequeños, y aparentar que volamos y sabemos lo que hacemos, pero es muy probable que tardemos mucho en hacer algo con sentido.

T

¿Y luego quieren que programe bien sino entiende de lógica? Yo desde luego lo probé por curiosidad y lo hizo mal tirando a peor.

Un script suelto aceptable o incluso bien, el problema viene cuando las clases se relacionan, adiós muy buenas.

Como dije en otra noticia, le quedan décadas para que escriba una novela larga con sentido o programe un programa medio o grande. No soy adivino ni sé el futuro, pero es mi modesta opinión como programador senior tras realizar pruebas con él.

m

#32 ja ja. Tu estas preocupado? 
Tienes idea de como funciona un IA? porque de inteligente no tiene nada.  

BRPBNRS

#32 Pero en menos de 10 años se habrá automatizado perfectamente el 90% por ciento del trabajo de un programador.

Subiria un poco los años y bajaria bastante ese porcentaje.
Lo que va a hacer la IA por la programación es aumentar la eficiencia de los programadores porque se va a evitar escribir mucho codigo sencillo. Pero ya te digo yo que el codigo complicado y el que tienes que hacer cosas muy especificas va a necesitar siempre de un programador que le explique a la IA como lo tiene que hacer.

rojo_separatista

#46, creo que he sido muy conservador. Creo que lo subestimas porque no has seguido la tendencia acelerada con la que han ido evolucionando estos modelos los últimos años y te quedas con la foto del momento.

Y si bien es cierto que es muy aventurero predecir en qué momento van a desaparecer completamente los programadores, el hecho de que aumente su eficiencia va a tener dos efectos inmediatos. Va a igualar más a los malos programadores con los buenos programadores y va a reducir bastante la oferta de trabajo en este sector.

Guarda este comentario. La inmensa mayoría de repositorios de código del futuro, a 15 o 20 años vista, serán documentos de texto escrito con lenguaje natural en lugar de instrucciones hechas con un lenguaje de programación en concreto.

Penrose

#55 no crees que sea más una función logit? Tengo la sensación de que el hardware es un cuello de botella importante, y que los modelos actuales parecen tener problemas inherentes con lógica.

Tú sabes más de esto, dime qué opinas.

Y

#46 Pero tu has visto como programan estos modelos?. Y la mejora que hay de copilot aqui?. El problema no es donde  vamos a estar en 2032 es como vamos a estar en 2024. 

h

#46 escribir código es el 5% del trabajo de un programador.

Me he intentado el porcentaje, pero por ahí anda.

R

#32 Que los programadores de dedicarán a otro tipo de trabajos o tareas en vez de a picar código. Los escribas deben preocuparse por la aparición de la imprenta? . Los periódicos deben preocuparse por la aparicion de internet? En parte si, pero no tiene por qué ser algo malo para la sociedad 

h

#32 apostarías dinero sobre lo que has dicho?

Lo más normal sería que estás IAs se encuentren un "muro" y pasen de mejora exponencial a mejora 0. La predicción de texto solo nos puede llevar hasta cierto punto (que no es inteligencia real)

T

#32 A ver, trabajo en cosas de estas, estoy familiarizado y los aplico a software de ocio, al menos a nivel básico.

Mira la evolución del automóvil, o de la energía o de cualquier cosa que apareció en la revolución industrial, el crecimiento fue exponencial y si hubiera seguido siendo exponencial nos llevarían los coches a Marte y tendríamos una estrella en casa que nos produciría energía. Hay crecimientos exponenciales, pero todo para.

Son super útiles las IA como herramientas, pero creo que os estáis flipando muchísimo. ¿Cómo van vuestras inversiones en grafeno? ¿Nos jugamos dinero a que en 5 años no hacen ningún programa grande y complejo sólo?

Zion01Koryo

#17 Está escalando de forma exponencial en cuestión de años, dudo que tenga que pasar décadas.
Microsoft ya lleva años buscando gente que programe con lenguaje natural (NLP), y ahora quiere comprar openai. Todo indica que en futuro lo más normal será programar así, y solo hará falta profesionales de verdad.

Es decir, se verán afectados, como siempre, la gran cantidad de programadores que hay hoy en día, pero hará que hayan muchos más y mucho más baratos aún.

Eso es el mercado, amigo. Si da dinero abaratando costes, no te preocupes que en unos años ocurrirá.

danymuck

#17 le quedan décadas? Tu has visto lo que se ha avanzado en dos años? Dos años. Si algo reconozco en mi corta vida es la tendencia a equivocarse en cuanto a los avances en tecnología. Esos "nunca llegaremos a", "tardaremos décadas en", "nunca lograremos que" por norma general acaban incumpliendose. También se pensaba hace muchos años que era imposible volar y que nunca podríamos surcar los cielos, por poner un ejemplo burdo.

La inversión y la tendencia ahora es experimentar y sacar nuevas IA que hagan cosas y en poco más de un par de años hemos llegado hasta esto, desde la nada. Y espera que ahora este mes o el siguiente sacan el GPT4 que dicen que va a dejar a lo que tenemos ahora en pañales.

Esto es exponencial y me parece que estamos ante un cambio de paradigma que no nos estamos dando ni cuenta. Esto va a cambiar el mundo en muchos ámbitos. Solo estamos asistiendo al nacimiento de lo que será en pocos años, igual que lo fue internet cuando al principio solo podías visitar unas pocas páginas web y a una velocidad irrisoria.

h

#84 exacto. Y la conducción autónoma pasará el año pasado, como bien nos decían hace 5 años.

NeV3rKilL

Con esa deducción podemos extrapolar que la mayoría de la población ni deduce, ni razona y además tienen mala memoria. Porque ir acertando 1 de cada 2 al trivial no es moco de pavo.

j

El fallo es el acierto para la próxima vez. Supongo que solo es cuestión de tiempo.

barcelonauta

"...porque «no entiende ni razona»"

Cuestión de tiempo, pero a la velocidad que aprende creo que no falta mucho ya (Skynet, calienta que sales).

1 2