Tecnología, Internet y juegos
14 meneos
63 clics

Científicos de OpenAI y Google advierten que podríamos perder el control de la IA muy pronto

Un grupo de investigadores de OpenAI, Google y Anthropic advirtieron que muy pronto podríamos perder la capacidad para entender la IA. En un documento publicado en arXiv, más de 40 científicos proponen monitorear de cerca los modelos de razonamiento para detectar comportamientos dañinos antes de que ocurran.

| etiquetas: ia , científicos , control
#8 La IA no son programas, la IA es un cerebro digital que se inicializa con valores aleatorios y luego se usan programas, eso sí, para entrenarlo y que aprenda. Cuando el cerebro está entrenado sigue sin ser programas, sí se usan programas para la interacción con ese cerebro.

De la misma forma que cuando tú te comunicas por zoom con otra persona estás usando programas para la interacción pero tú no eres ningún programa por ello.

Si decides extender la definición de "programas" para que quepa el cerebro digital de la IA entonces en esa definición también cabe tu cerebro.
#10
La IA NO es un "cerebro", cerebro es lo que tenemos tú y yo dentro de nuestro cráneo.
Yo no he dicho que quien usa la IA sea un programa, lo es la propia IA. Es una herramienta, nada más.
#13 Es un cerebro digital, formado de neuronas digitales, que requiere de un aprendizaje en base de ejemplos para poder dar resultados útiles, en el mismo sentido que al cerebro humano lo educamos en base a ejemplos.

La propia IA no es un programa, la IA no se programa, la IA se entrena a base de ejemplos. Se usan programas para construir el cerebro y se usan programas para entrenarla pero el cerebro de la IA no contiene programas, contiene neuronas digitales cuyos pesos se han ajustado en…   » ver todo el comentario
#14
NO, una IA no es más que una serie de instrucciones informáticas, no hay "neuronas" como tú las llamas.
Y que conste que mis opiniones no son sólo mías, son también las de expertos de prestigio en el mundo de las IA.
No me hagas buscarlas.
#17 una IA no es más que una serie de instrucciones informáticas

No es cierto.

En el cerebro digital de la IA no encontrarás ninguna serie de instrucciones informáticas. Sí encontrarás instrucciones informáticas en los procesos para comunicarnos con ese cerebro digital pero no en su contenido.

En su contenido encontrarás números que han ido siendo modificados por el proceso de entrenamiento, encontrarás vectores que apuntan en distintas direcciones, no encontrarás ninguna instrucción informática.

Quizá esto ayude: ¿Consideras que una foto digital es un programa?
#17 Creo que deberías haber buscado y revisado tus fuentes antes de escribir el primer comentario de esta serie.

Madre mía, qué despropósito. Y qué paciencia la de #19.
#32 #33
Según las normas de Menéame los votos negativos son exclusivamente para castigar insultos y ofensas a otros comentaristas.
Mis opiniones tal vez son equivocadas o no os gustan, pero en ninguno de mis comentarios existe ningún insulto ni ofensa a nadie.
#39 Según la Meneaetiqueta:

Los votos negativos son para ocultar o mostrar tu disconformidad con comentarios insultantes, difamatorios, racistas, de divulgación de bulos, información errónea o spam.

No estabas hablando de algo opinable sino de unas elaboraciones matemáticas (los perceptrones y redes neuronales artificiales) que aparecieron ya en los años 70 y que son la base matemática de la IA actual.

Tus comentarios eran simplemente erróneos y divulgaban ese error. Al contrario que muchos otros temas de Meneame, no es éste un tema opinable sino de conocer o no la información técnica que lo sustenta.
#17, claro que hay neuronas, se llaman perceptrones. Las redes neuronales artificiales no son otra cosa que un intento de emular computacionalmente el funcionamiento de un cerebro biologico. Y funciona sorprendentemente bien. Un programa informático es una secuencia de instrucciones predefinidas, nada que ver con una red neuronal.

Solo hacía falta que visitaras la wikipedia para descubrirlo: En el aprendizaje automático, una red neuronal artificial (abreviada ANN o NN) es un modelo dentro de los llamados sistemas conexionistas, inspirado en la estructura y función de las redes neuronales biológicas en los cerebros animales.
es.wikipedia.org/wiki/Red_neuronal_artificial
Vi ayer una entrevista apocalíptica de esas donde hablaban del "instinto de conservación" detectado en los LLM. No hay nada de eso. En el caso que se difundió había instrucciones de actuar así.

Mucho hype, muchísimo.
#11 Los LLMs se entrenan con la cultura humana, el instinto de conservación forma parte de nuestra cultura, forma parte de su entrenamiento.
#11, no creo que el peligro más inminente sea el instinto de conservación, las ansias de libertad o la conciencia ni ninguna caracteríca antropomorfizadora, pero se nos olvida qué puede hacer una IA tratando de lograr un objetivo concreto. El ejemplo que se suele poner es una IA que intenta fabricar el mayor número de sellos y acaba convirtiendo en sellos toda la superficie del planeta destruyendo todo lo que encuentra a su paso.
#16 Esta tecnología muestra inteligencia, algunos aún la niegan pero cada vez es más evidente, y como otras tecnologías tiene un crecimiento exponencial.

Pretender que podremos evaluar y gestionar los riesgos que pueda suponer una inteligencia que crezca exponencialmente es temerario.
#18 Estoy de acuerdo en que hay que prepararse incluso para lo impensable (me gusta la idea de "Antifragilidad" de Nassim Taleb), pero llevo tiempo leyendo a las mayores eminencias del campo y si en algo coinciden la mayoría es que no tienen capacidad de razonamiento, si acaso como mucho se da un Efecto Forer que tiene más que ver con la psicología humana de reconocer patrones donde no hay y rellenar huecos. La Astrología parece ser real para alguna gente, pero el "…   » ver todo el comentario
#22 Hace unas pocas décadas básicamente nadie habría afirmado que se podría hacer lo que hacen las IAs actuales sin capacidad de razonamiento, que se podrían crear programas funcionales en base al lenguaje natural, que se podrían crear poemas siguiendo las premisas indicadas, que se podrían crear imágenes en base a instrucciones dadas, todo ello sin capacidad de razonamiento.

Lo que solemos hacer es mover la portería, seguir aplicando nuestro sesgo de confirmación para seguir creyéndonos únicos, superiores.

Cuando vemos que algo crece de forma exponencial partir de esas premisas es temerario, apostar el destino de la humanidad a ello es una temeridad.
#23 "Hace unas pocas décadas básicamente nadie habría afirmado que se podría hacer lo que hacen las IAs actuales sin capacidad de razonamiento,"

Es más, prácticamente diría que ni siquiera hace 10 años la mayoría de gente habría afirmado eso. La clave es justo lo que comentas, que se hace todo eso sin capacidad de razonamiento. Lo cual es un logro tecnológico y científico de por si impresionante, incontestable: directamente ha dejado obsoleto el Test de Turing, y probablemente nos…   » ver todo el comentario
#28 La clave es justo lo que comentas, que se hace todo eso sin capacidad de razonamiento.

O que negamos que para ello sea un requisito.

Asociamos la capacidad de razonamiento en exclusiva al ser humano y si lo hace una máquina ya partimos de la premisa que no se requiere capacidad de razonamiento por que no la tiene, es otra forma de hablar del alma.

directamente ha dejado obsoleto el Test de Turing

Es un buen ejemplo de mover la portería, establecemos que ante la dificultad…   » ver todo el comentario
#22, no se que eminencias has leído pero la mayor de todas dice esto: elpais.com/tecnologia/2023-05-02/geoffrey-hinton-el-padrino-de-la-ia-d

Y por si tienes dudas sobre qué opina de si razonan: www.youtube.com/shorts/LuNN32Tmc9c
#29 La exponencialidad.
#20 Estás minusvalorando a una entidad que potencialmente puede ser más inteligente que tú, cuya inteligencia puede crecer exponencialmente.

Si esa IA, supuestamente más inteligente que tú, es capaz de evaluar el riesgo que has indicado es probable que pueda encontrar soluciones para mitigar o erradicar ese riesgo.

Por ejemplo puede llevar a cabo tareas para distribuirse por el planeta de forma que no haya un único enchufe que baste, que se requiera de la coordinación internacional. Incluso…   » ver todo el comentario
#21 Tú has visto varias veces seguidas "Person of Interest" y te lo estás flipando cosa mala.
#24 La dejé a los pocos episodios, en esa época estaba saturado de ese estilo de series. Quizá la recupere en un futuro.

En cualquier caso mucha de la tecnología de la que disponemos hoy en día fue inventada en series de televisión y películas, los autores de ciencia ficción inventaron esos conceptos y usaron esos medios para ponerlos a prueba, para valorar sus consecuencias y sus riesgos, para pulir la idea y el diseño.

Posteriormente las generaciones que crecieron habiendo consumido esas ideas cuando vieron realista hacerlas con tecnología las llevaron a cabo, fuertemente inspirados por las ideas de esa ficción y conociendo las ventajas y riesgos que en esa ficción se evaluaban.
#25 Y tú te lo flipas cosa mala.
#26

"España no va a tener, como mucho, más allá de algún caso diagnosticado", Fernando Simón.
#27 ¿Qué tiene que ver eso con esto? Que, por cierto, soy de los que considera que Fernando Simón debió ser despedido en marzo de 2020. Claro que era un buen siervo de su amo.
#29, pues ahora estás al mismo nivel de los que decían que el Covid no era nada en febrero de 2020.
#34 Estupideces no, gracias.
Es confuso ver cómo los que va a la carrera para desarrollar la IA lo más rápido posible y usarla en su beneficio propio y exclusivo, a la vez nos alertan de que pronto va a llegar y que tengamos miedo y corramos en círculos.
Porque los humanos no tenemos acceso al enchufe. Claro.
#5 Seguramente a la IA jamás se le ocurra ese riesgo y jamás planifique como mitigarlo o evitarlo.
#7 Incluso si llega """deducirlo""" eso no significa que pueda hacer nada al respecto.

Salvo que ahora pueda coger la gráfica y convertirla en brazos para ahostiar a quien se acerque al enchufe.
#8 he utilizado la misma nomeclatura del artículo. Y por "dañino" pues puede ser simplemente el filtro burbuja, o radicalización de ideologías, no necesariamente controlarnos y destruirnos
#16, la gente que esta alertando de esto, es gente que conoce mucho mejor que cualquiera de los que estamos aquí como funciona esta tecnología, empezando por Geoffrey Hinton, premio Nobel de física del año pasado. Un poquito más de humildad.
detectar comportamientos dañinos antes de que ocurran
Depende de la definición de "comportamiento dañino", ya están ocurriendo
#2
Las IA son programas, complejos, sí, pero nada más que eso, no es "inteligencia". Por lo tanto, llamar "comportamiento" a lo que hace un programa no es más que humanizarlos, error que comete demasiada gente.
Millones de programas fallan continuamente, consecuencia de estar mal hechos. Se corrige el error y se siguen usando.
Creer que esa mal llamada "inteligencia artificial" va a controlarnos y destruirnos es ridículo.
Con un poco de suerte nos mata a todos.
Un libro que va a sacar Eliezer Yudkowsky en un par de meses:

" If anyone builds it, everyone dies. Why superhuman AI would kill us all"
ifanyonebuildsit.com/
El alarmismo de siempre para dominar la conversación y captar fondos de capital riesgo. Es absurdo pensar que un LLM se va a convertir en Skynet y más con sus tasas de error (que torticeramente denominan "alucinaciones" para equipararlos a la cognición real) y sus problemas de consistencia al escalonarla en grandes proyectos.
Que útil es (vaya si lo es, ahí están los ejemplos de aumento de productividad, sobre todo en programadores) pero hay que moderar las expectativas.
PD: Sigo apostando por la IA Neurosimbólica como el gran cisne negro del futuro que lo transformará todo.
#6 En la película tampoco pensaron que Skynet se iba a convertir en lo que se convirtió.

¿Te acuerdas de la pandemia del covid19? ¿Crees que supimos anticipar el alcance del riesgo que aumentaba de forma exponencial de forma adecuada y reaccionamos antes que se convirtiera en un problema?
#9 Siempre hay que mantener un sano escepticismo en las creencias, sean propias o ajenas, y claro que hay que dejar abierta la posibilidad; pero viendo "MUY" por encima la arquitectura de ésta tecnología me resulta difícil creerlo.
Pero para mi el problema principal de los LLMs no es tanto de que la tecnología en sí adopte autonomía (sin necesidad de autoconsciencia), sino los usos reales de transformarla en una arma de desinformación masiva que colapse las sociedades; es decir que…   » ver todo el comentario

menéame