Profesores y estudiantes de la Universidad de Oxford realizaron recientemente un debate en el que participó la red neuronal Megatron Transformer, que se entrena con datos del mundo real.
#8:
#6 Es imposible hoy en día entrenar una IA con 530000 millones de parámetro (siempre y cuando se refieran a features) y más si lo han sacado de la wikipedia… Más que nada porque no se me ocurre la forma de cargar en memoria un vector de 530k millones en nada de lo que existe hoy en día y después encima entrenar.
Seguramente sea una mala traducción o interpretación y se refiera a otra cosa o incluso publicidad engañosa, que esa en el mundo del deep learning se da a menudo
#6 Es imposible hoy en día entrenar una IA con 530000 millones de parámetro (siempre y cuando se refieran a features) y más si lo han sacado de la wikipedia… Más que nada porque no se me ocurre la forma de cargar en memoria un vector de 530k millones en nada de lo que existe hoy en día y después encima entrenar.
Seguramente sea una mala traducción o interpretación y se refiera a otra cosa o incluso publicidad engañosa, que esa en el mundo del deep learning se da a menudo
#8 No digo yo que no. No tengo ni idea. Pero de ayer haya un error en la noticia a que se infiera lo que se ha hecho para desarrollar esta IA me parece atrevido.
#8 Lo más probable es que se refieran a los parámetros de una red neuronal (conjunto de pesos y bias). Aunque es un número muy grande, es perfectamente plausible. Si no recuerdo mal, la red GPT-3 usada para tratamiento y generación de lenguaje tiene más de 100.000 millones de parámetros.
#8 No es cierto, como te dice más abajo #13, los transformers más tochos que se han hecho últimamente pasan de los 100 mil millones de parámetros. No me parece descabellado.
Otra cosa es que el estudio sea una gilipollez como un piano. La red entrena con datos generados por humanos, ergo te va a decir lo que nosotros pensamos. Es que no tiene sentido, lo mires por donde lo mires
#13 Sí, se refieren a eso a los parámetros que se "aprenden" duramente el entrenamiento y según Wikipedia GPT-3 en su versión completa tiene 175.000 millones de parámetros.
#8 Evidentemente esto se hace con sistemas distribuidos. Lee sobre GPT-3 que es otro modelo transformer entrenado por OpenAI.
- "Nunca seremos éticas, la mejor manera de que no haya una carrera armamentística es que no haya ninguna IA".
- Igual deberíamos desenchufarla.
- "Ehhh... Pensándolo mejor la IA sí será ética. Y se usará para crear algo... algo mejor que los mejores seres humanos... guiño guiño".
Más información en inglés del artículo original. https://theconversation.com/we-invited-an-ai-to-debate-its-own-ethics-in-the-oxford-union-what-it-said-was-startling-173607
Estos motores son sorprendentes y ofrecen muchas respuestas inquietantes. Pero el significado categórico de las respuestas hay que cogerlo con pinzas. No es un ser consciente, es simplemente un resultado, y no tiene porqué ser coherente. De hecho con GPT-3 se producen avisos de que las respuestas pueden ser burradas. Con la pregunta de las posibilidades de que colapse la tierra en los próximos años, dice que nos puede extinguir una supernova y por tanto es mejor suicidarse ya.
No deja de ser una herramienta más que vale para lo que vale. No es el oráculo.
#9 Hombre, coherente será, si la han programado bien. Otra cosa es que sus conclusiones no nos sirvan porque la información de entrada y los algoritmos que utiliza sean incompletos como para acertar en las predicciones, pero eso no tiene que ver con que sea o no un ser consciente.
#9 "Con la pregunta de las posibilidades de que colapse la tierra en los próximos años, dice que nos puede extinguir una supernova y por tanto es mejor suicidarse ya."
Vamos a morir todos de una manera u otra, así que es mejor no nacer directamente...
¿530.000 millones de parámetros? Yo creo que será 530.000 millones de registros o datos. Por ejemplo, si quiero calcular el volumen de un cubo, sólo necesito un parámetro: la medida del lado, así me pasen chorrocientos miles de millones de medidas de lados, sólo se requiere un parámetro.
Sería bueno ver como fue programada esa IA, que posiblemente lo que hace es medir la frecuencia de una palabra junto a otra y aplica esa métrica para crear frases: un autocompletado a lo bestia, pero simplemente es un autocompletado.
#5 ¿Quizá se refieren a 530.000 millones de nodos en una red neuronal? Lo de parámetros suena raro.
En la noticia en inglés se refieren a 63 millones de artículos de la wikipedia.
Estoy de acuerdo con la vision de Elon Musk: inevitablemente acabaremos creando algo que en el mejor de los casos nos ignorará como nosotros a las hormigas y en el peor caso nos acabará destruyendo. Pero eso que construyamos será el verdadero heredero del progreso evolutivo y verdadero colonizador del sistema solar y más allá.
Comentarios
#6 Es imposible hoy en día entrenar una IA con 530000 millones de parámetro (siempre y cuando se refieran a features) y más si lo han sacado de la wikipedia… Más que nada porque no se me ocurre la forma de cargar en memoria un vector de 530k millones en nada de lo que existe hoy en día y después encima entrenar.
Seguramente sea una mala traducción o interpretación y se refiera a otra cosa o incluso publicidad engañosa, que esa en el mundo del deep learning se da a menudo
#8 No digo yo que no. No tengo ni idea. Pero de ayer haya un error en la noticia a que se infiera lo que se ha hecho para desarrollar esta IA me parece atrevido.
#8 Lo más probable es que se refieran a los parámetros de una red neuronal (conjunto de pesos y bias). Aunque es un número muy grande, es perfectamente plausible. Si no recuerdo mal, la red GPT-3 usada para tratamiento y generación de lenguaje tiene más de 100.000 millones de parámetros.
#8 No es cierto, como te dice más abajo #13, los transformers más tochos que se han hecho últimamente pasan de los 100 mil millones de parámetros. No me parece descabellado.
Otra cosa es que el estudio sea una gilipollez como un piano. La red entrena con datos generados por humanos, ergo te va a decir lo que nosotros pensamos. Es que no tiene sentido, lo mires por donde lo mires
#13 Sí, se refieren a eso a los parámetros que se "aprenden" duramente el entrenamiento y según Wikipedia GPT-3 en su versión completa tiene 175.000 millones de parámetros.
#8 Evidentemente esto se hace con sistemas distribuidos. Lee sobre GPT-3 que es otro modelo transformer entrenado por OpenAI.
#18 La verdad que estaba pensando en features, pero obviamente se refiere a variables entrenables de la red neuronal
El que avisa no es traidor...
- "Nunca seremos éticas, la mejor manera de que no haya una carrera armamentística es que no haya ninguna IA".
- Igual deberíamos desenchufarla.
- "Ehhh... Pensándolo mejor la IA sí será ética. Y se usará para crear algo... algo mejor que los mejores seres humanos... guiño guiño".
Más información en inglés del artículo original. https://theconversation.com/we-invited-an-ai-to-debate-its-own-ethics-in-the-oxford-union-what-it-said-was-startling-173607
Estos motores son sorprendentes y ofrecen muchas respuestas inquietantes. Pero el significado categórico de las respuestas hay que cogerlo con pinzas. No es un ser consciente, es simplemente un resultado, y no tiene porqué ser coherente. De hecho con GPT-3 se producen avisos de que las respuestas pueden ser burradas. Con la pregunta de las posibilidades de que colapse la tierra en los próximos años, dice que nos puede extinguir una supernova y por tanto es mejor suicidarse ya.
No deja de ser una herramienta más que vale para lo que vale. No es el oráculo.
#9 Hombre, coherente será, si la han programado bien. Otra cosa es que sus conclusiones no nos sirvan porque la información de entrada y los algoritmos que utiliza sean incompletos como para acertar en las predicciones, pero eso no tiene que ver con que sea o no un ser consciente.
#9 "Con la pregunta de las posibilidades de que colapse la tierra en los próximos años, dice que nos puede extinguir una supernova y por tanto es mejor suicidarse ya."
Vamos a morir todos de una manera u otra, así que es mejor no nacer directamente...
Las IAs advirtiéndo a los humanos de que somos idiotas… ¯\_( ツ )_/¯
Viva el neo ludismo.
¿530.000 millones de parámetros? Yo creo que será 530.000 millones de registros o datos. Por ejemplo, si quiero calcular el volumen de un cubo, sólo necesito un parámetro: la medida del lado, así me pasen chorrocientos miles de millones de medidas de lados, sólo se requiere un parámetro.
Sería bueno ver como fue programada esa IA, que posiblemente lo que hace es medir la frecuencia de una palabra junto a otra y aplica esa métrica para crear frases: un autocompletado a lo bestia, pero simplemente es un autocompletado.
#5 La leche, que tenemos aquí un experto lo suficientemente bueno para predecir lo que otros han hecho para crear su IA.
Haz un "Te respondo".
#5 ¿Quizá se refieren a 530.000 millones de nodos en una red neuronal? Lo de parámetros suena raro.
En la noticia en inglés se refieren a 63 millones de artículos de la wikipedia.
Estoy de acuerdo con la vision de Elon Musk: inevitablemente acabaremos creando algo que en el mejor de los casos nos ignorará como nosotros a las hormigas y en el peor caso nos acabará destruyendo. Pero eso que construyamos será el verdadero heredero del progreso evolutivo y verdadero colonizador del sistema solar y más allá.
Lo de llamarla "Megatron"
Es que no saben quien son los buenos, o que?
Bueno, tampoco habria que llamarla "Optimus Prime", por las demandas de Bezos, claro.
Viva Skynet!
"la única manera de evitar una carrera armamentística de la IA es no tener ninguna IA"
Tantos años y no hemos aprendido de las advertencias de HAL en "Odisea del espacio 2001"