Menéame: comentarios [4012602]

#14 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

rojo_separatista — Tue, 24 Dec 2024 20:29:18 +0000

#9, pues háztelo mirar, porque creo que estás haciendo algo muy mal.

» autor: rojo_separatista

#13 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

rojo_separatista — Tue, 24 Dec 2024 20:21:58 +0000

#5, o3 ha sacado muy buenas puntuaciones en FrontierMath que es un benchmark matemático altamente demandante, no se basa en aplicar de memoria un método sino que se trata de analizar y aplicar conocimientos profundos de matemáticas en álgebra, geometría, cálculo... A los matemáticos profesionales les cuesta días resolver cada uno de los problemas. Cada vez que se sube el nivel de exigencia a la IA está la termina superando.

Estamos en un escenario en que ya tenemos IAs que son mejores que la mayoría de personas en la mayoría de problemas y en pocos anos tendremos IAs mejores que cualquier persona en cualquier problema, mientras jugamos a mover la portería no estamos debatiendo como vamos a afrontar el impacto que va a tener esta tecnología.

» autor: rojo_separatista

#12 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

rojo_separatista — Tue, 24 Dec 2024 20:13:26 +0000

#3, son exactamente los mismos tests que se usan para evaluar el nivel de los programadores humanos en competiciones de programación.

» autor: rojo_separatista

#11 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

donchan — Tue, 24 Dec 2024 20:10:13 +0000

#5 cuando tuviéramos un modelo capaz de jugar bien al ajedrez, estaríamos cerca de la la inteligencia artificial general

Pero había una condición implícita, que era "razonando tal y como lo hace un humano", que no es como las máquinas se enfrentan al problema, por lo que los rendimientos no son comparables.

O dicho de otro modo, resulta que existe una forma de calcular buenas jugadas de ajedrez que no implican habilidades de razonamiento general.

Puesto que esta notícia va de o3, pues comento que este modelo de AI es el que se desarrolló para jugar al go, que es algo muy distinto del ajedrez.

» autor: donchan

#10 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

donchan — Tue, 24 Dec 2024 20:05:06 +0000

Puntúa alto, pero con una condición, que se llama 1000€.

» autor: donchan

#9 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

--295-- — Tue, 24 Dec 2024 16:45:15 +0000

No sé rick... hasta ahora chatgpt no ha dado ni una las veces que le he preguntado algo relacionado con código. De hecho la información que me ha dado raramente me ha servido tal cual aunque he de reconocer que es una buena base para seguir investigando

» autor: --295--

#8 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

DenisseJoel — Tue, 24 Dec 2024 15:18:43 +0000

#7 ¿La parte de daños? Por ejemplo, la contaminación del texto publicado. Es posible que pronto, si no ha sucedido ya, se publique en internet más texto generado por LLMs que por personas. Texto diseñado para ser verosímil pero con numerosos errores, y con sesgos de todo tipo.
También hay que tener en cuenta el coste medioambiental y de recursos. Tanto en el entrenamiento de los modelos como la inferencia requieren grandes cantidades de energía.
A nivel político, las posibilidades de realizar astroturfing y manipulación en general se disparan.
A nivel social, determinados empleos también se van a ver muy afectados.

Por supuesto que no estoy diciendo que los daños sean mayores que las ventajas, solamente que existen y deberían ser considerados. Aunque en realidad esto pasa con todas las tecnologías, y normalmente lo que se hace es ignorar los riesgos y daños si eso permite incrementar el poder de la minoría dominante.

» autor: DenisseJoel

#7 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

anodino — Tue, 24 Dec 2024 14:53:34 +0000

#5 expláyate, es interesante tu comentario

» autor: anodino

#6 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

sorrillo — Tue, 24 Dec 2024 14:52:09 +0000

#5 Para resultados matemáticos tanto en matemáticas como en física los humanos nos asistimos de calculadoras y de ordenadores, no veo razón para que la IA no pueda usar esas mismas herramientas para resolver esos mismos problemas. No nos hace menos inteligentes usar ese tipo de tecnología para asistirnos y en los mismos términos no hace a la IA menos inteligente el usar ese tipo de tecnologías para asistirla.

Me parece un tremendo error pretender valorar la inteligencia de una IA en función de si ante una multiplicación de dos números muy grandes da el resultado correcto. Y es un error que se comete habitualmente.

Pero no sé por qué el debate se ha desviado en esta dirección, se pueden hacer pruebas que sean fácilmente corregibles por computadoras y que nada tengan que ver con dar resultados exactos de matemáticas, no veo qué tiene que ver el tipo de test y su mecánica de corrección con el contenido que se esté evaluando.

» autor: sorrillo

#5 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

DenisseJoel — Tue, 24 Dec 2024 14:48:07 +0000

#4 No, no se trata de mover la portería. O bueno, en parte sí, porque hace décadas se pensaba que cuando tuviéramos un modelo capaz de jugar bien al ajedrez, estaríamos cerca de la la inteligencia artificial general, y evidentemente era una percepción errónea.

Pero más allá de esos matices, se ponga un ejemplo concreto: ahora dicen que algunos LLM tienen un nivel matemático elevado. Y lo dicen porque puede resolver un problema matemático y devolver los números correctos. Pero la matemática elevada no trata sobre devolver números correctos, sino por ejemplo sobre realizar demostraciones válidas. Y en esa tarea el rendimiento es mucho peor.

A eso podrías responder que para la ingeniería sí que es importante obtener los números correctos. Pero la ingeniería resuelve problemas del mundo real, que son más abiertos que los problemas de las competiciones matemáticas. Y de nuevo, en esos problemas de ingeniería del mundo real, estos modelos obtienen resultados mucho peores que en los problemas sintéticos.

Así que se están vendiendo unos resultados engañosos. Eso no quiere decir que los LLM no puedan utilizarse para conseguir ciertos fines personales. Claro que puede hacerse. Pero hay que ser realistas, tanto a la hora de evaluar los beneficios, como de evaluar los daños. (En este último aspecto no he entrado por brevedad.)

» autor: DenisseJoel

#4 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

sorrillo — Tue, 24 Dec 2024 14:30:27 +0000

#3 ¿Ahora parte de mover la portería es que deban ser tests donde la respuesta sea subjetiva y dependa del buen o mal humor del corrector y de sus sesgos?

En fin ...

» autor: sorrillo

#3 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

DenisseJoel — Tue, 24 Dec 2024 14:28:47 +0000

#1 Faltaría indicar que se trata de tests diseñados para poder ser corregidos de manera automática, que, vaya casualidad, son justo aquellos en los que la IA se desempeña mejor.

» autor: DenisseJoel

#2 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

JackNorte — Tue, 24 Dec 2024 14:18:37 +0000

#0 dupe me adelante ayer. www.meneame.net/m/actualidad/nuevo-modelo-open-ai-o3-increibles-result

» autor: JackNorte

#1 o3 puntúa tan alto como programadores humanos en un test de razonamiento y abstracción. Es justo lo que OpenAI necesita

sorrillo — Tue, 24 Dec 2024 14:00:59 +0000

#0 En el titular donde pone "en un" faltaría indicar el qué, posiblemente sea "test" o "en una prueba" (ya sé que el titular original está también mal, pero habría que subsanarlo igualmente).

» autor: sorrillo