edición general
174 meneos
3724 clics
“El mundo está en peligro, y no solo por la IA”: el jefe de Seguridad de Anthropic anuncia públicamente su renuncia al cargo

“El mundo está en peligro, y no solo por la IA”: el jefe de Seguridad de Anthropic anuncia públicamente su renuncia al cargo

No obstante, está claro para mí que ha llegado el momento de seguir adelante. Me encuentro constantemente reflexionando sobre nuestra situación. El mundo está en peligro.

| etiquetas: anthropic , claude , seguridad
Comentarios destacados:                
#3 #1 Todo son risas y jajitas cuando ves que Zuckerberg se cicla y se pone rocoso y Musk se pone fino a Ketamina, pero luego lo piensas dos veces y esos tipos con taritas evidentes por un desajuste de la asignacion de recursos del sistema capitalista tienen mas poder que muchos estados... poder individual, sin restricciones, sin nada ni nadie que los frene.

Y son niñatos con carencias afectivas y de ego serias, presas de estafadores y vendemotos con una cultura de machotismo muy jodida que estan modelando la economia hacia el engorilamiento...

Y las risas pos ya como q no entran tanto
Normal, ese puesto es pura patraña.

El problema no es tanto la IA. Son los chalados que hay detrás. Dario Amodei, Sam Altman, Demis Hassabis... Todos estos los locos que van por ahi esperando que llegue la AGI como si de una secta se tratara. Acólitos de Peter Thiel y Elon Musk están inviertiendo billones de dolares en revertir la muerte (para ellos claro), a la vez que se construyen bunkeres y compran islas como hace el Zuckerberg. Están destruyendo el medio ambiente en una escalada mortal a…   » ver todo el comentario
#1 Todo son risas y jajitas cuando ves que Zuckerberg se cicla y se pone rocoso y Musk se pone fino a Ketamina, pero luego lo piensas dos veces y esos tipos con taritas evidentes por un desajuste de la asignacion de recursos del sistema capitalista tienen mas poder que muchos estados... poder individual, sin restricciones, sin nada ni nadie que los frene.

Y son niñatos con carencias afectivas y de ego serias, presas de estafadores y vendemotos con una cultura de machotismo muy jodida que estan modelando la economia hacia el engorilamiento...

Y las risas pos ya como q no entran tanto
#3: Tampoco está tan fuerte como para afirmar que se esté ciclando.

Normalmente eso es cuando alguien está muy fuerte y muy definido, ahí sí se puede empezar a sospechar.
#8 Ah bueno, entonces no hay problema.
#10: Todo lo que sea ponerse fuerte es positivo...
Lo que no es tan positivo es que haya gente que delegue su capacidad de pensamiento a la AI. :-(
#15 ¿por qué no? La IA toma mejores decisiones
#8 Esta noticia es sensacionalista. Era jefe de seguridad de un equipo dentro de Anthropic, no de todo Anthropic.
#3 El problema de estos tipos es que además son encantadores de serpientes. Elizabeth Holmes captó a mucho inversor mayor, jugando con una especie de relación "abuelo - nieta". Los inversores importantes del sector de sanidad no soltaron un céntimo al ver que la Holmes no daba muestras ni detalles de su propuesta. Y luego se cayó el castillo de naipes.

La IA generativa está vendiendo un cuento muy goloso para muchos empresarios: poder deshacerse de trabajadores. La realidad es que la…   » ver todo el comentario
#11 :coletas: Tú flipas.

Estamos all comienzo de una revolución y todavía no te has dado cuenta.

Te aconsejo que te metas en el culo tu orgullo humano... nuestros antepasados del siglo XIX ya lo hicieron cuando tuvieron que tragarse las teorías de Darwin.

Darwin sacudió la identidad humana de nuestro antepasados . La IA va a hacer lo mismo contigo.

Te aconsejo que te adaptes y surfees la ola... porque si no te va a arrastrar!
#3 Medalla Ayuso para ambos. Y FIFA de la libertad.
#3 ahora vendrá findeton o algún acolito a explicarnos que hay que darles libertad total a esta gentuza para que hagan lo que les de la puta gana, que es super bueno para nosotros los pobres trabajadores.
#1 #3 :coletas: ¿Psicopatas? ¿niñatos? ¿O simplemente deseo de conocimiento?

Son personas extraordinarias, grandes emprendedores, grandes exploradores que quieren crear cosas grandes.

¿Qué tiene que ver la ética con el deseo de saber y crear?

Olvidate... no son como tu. Tu no serás grande... ¡no tienes mentalidad para serlo!
#3 Tampoco creo que esos tipos tengan tanto poder. Yo creo que los que realmente tienen poder son los que no conocemos.

Estos son otros más de los que tienen trapos sucios con Epstein y tienen que obedecer a quien tenga el poder.

Anyway, la situación es la manipulación de masas que lleva existiendo toda la humanidad. La religión está siendo sustituida por una brutal manipulación con los dispositivos electrónicos.

En los últimos siglos hemos pasado de la propaganda de los textos impresos al…   » ver todo el comentario
#1 "Todo con la esperanza de la singularidad aparezca por generación espontánea." Por generación espontanea no, están invirtiendo miles de millones
#4 no es espontánea en el sentido de que surge de la nada sino que aparece del resultado acumulativo de millones/miles de millones de parámetros ajustados. Se llama "scaling hypothesis"

gwern.net/scaling-hypothesis
#4 Claro, solo es cuestión de dinero, si llegar a la luna costo 1 millón, con 25.000 trillones podremos llegar a una estrella.

Las mentes cerradas de los economistas.
#1 No, escúchame. Si yo estuviese en su lugar, ni un sueldo de ocho cifras me mantendría ahí. Y esto no te lo dice un ludista que no quiere saber nada de la IA, llevo mucho tiempo explorando lo que permite y no permite hacer la IA, en que es buena, en que es mejor no usarla...

Primero porque sabe que el barco se hunde. A OpenAI no la salva ni el Equipo A, y Anthropic va por el mismo camino. Cuando uno de los factores limitantes para que tu negocio crezca es que todavía no se han construido…   » ver todo el comentario
#6 ¿ A Open Ai no se le estaba derritiendo las GPU?

www.reddit.com/r/technology/comments/1jlcdnb/openai_says_our_gpus_are_

En Sora están teniendo bastantes problemas. Antes te permitían generar un montón de vídeos al día y ahora la saturación es tal que es que hay días que en donde no se puede generar nada.
#1, no se si llegará o no la AGI, pero el peor escenario para los desarrolladores de software es que la AGI no llegue nunca y la tecnología se quede a medio camino. Porque con lo andado ya es suficiente para arrasar en este campo y si la tecnología no impacta de lleno en todos los ámbitos y solo se queda ahí, los sectores que sí se puedan ver afectados, como el del software, van a sufrir las consecuencias ante la indiferencia de los demás.

Además que con tu comentario parece que en todos estos años la IA no haya logrado nada y todo se basara en promesas vacías. Ni los generadores de video, imágenes, canciones, texto o código, parece que valgan para nada. Y esto me parece que es querer tener una venda en los ojos.
#7 No creo que nada en absoluto que haya sido creado con una IA generativa haya merecido la destrucción del medio ambiente y la cadena de suministro. La IA (no-generativa) ha sido muy util para investigacion cientifica como AlphaFold, pero si hablamos de los LLM no hay nada en absoluto entos ultimos 5 años que haya hecho avanzar la ciencia. No ha resuelto ni un solo problema sin resolver, no ha creado ni un solo algoritmo novedoso que mejore lo existente. Mejor podian haber invertido esos billones en Donald Knut.

Como dicen los americanos, challenge me. Dame un ejemplo concreto que haya sido creado por un LLM, sin una mente humana detrás.
#9 Eres el tipico que dice que la IA no vale pa na?, en ese caso estas ciego. Eres el tipico que dice que la IA lo va a arreglar todo a corto plazo? en ese caso eres un fanatico. A dia de hoy, si no usas la IA para mejorar tu productividad en cualquier ambito, estas haciendo algo mal, y en un suponer, yo no te contrataria como empleado.
#16 no digo que no vale para nada. El precio de la IA lo dan los inversores. Aparentemente vale muchísimo. Lo que cuestiono es si merece la pena el coste ambiental y social
#19 Aquí hay para debatir mucho, pero hasta dentro de un año o dos es una discusión irracional. Muchos que vivieron la crisis de las puntocom ya no lo recuerdan. Internet tuvo impacto, y mucho, pero se sobrevaloró. Tuvo que venir una corrección muy dura y lo que quedó en pie sí supo ser rentable.

Ahora mismo discutir con un "evangelista" de la IA es perder el tiempo. Aún hay FOMO y borrachera. Aún tiene que llegar el día en que pique el bolsillo y se diga "cuándo vamos a empezar a recuperar la inversión". Y ahí empezará la fiesta.

La IA quedará como un escalón más en la digitalización, y poco más. Nada que ver con el hype que nos venden.
#24 amén. Yo la uso y de muchas formas. He vibe codeado 3 aplicaciones completas y funcionales. Si hoy desapareciese no cambiaría mi vida y la razón es que yo me sigo formando de forma tradicional. Leo libros técnicos, leo papers, programo manualmente la mayor parte del tiempo.

Me parece muy peligroso que tu inteligencia esté subsidiada a una máquina en manos de unos millonarios. Y me inquieta mucho la deriva que estamos siguiendo.
#26 Es que ahí está el problema. La IA no es más que un potenciador. Es un buscador de Google vitaminado. Igual que Google en su día consiguió mucho impacto por facilitar las búsquedas de información, eso no suprimió trabajo neto, ni disparó productividad.

Yo la uso también, y la veo como un potenciador. Pero para que funcione bien, mis "inputs" tienen que ser de calidad. Y aún así tengo que auditar y verificar el código que sale.

Todo esto no es lo que suena en los discursos de…   » ver todo el comentario
#35 :coletas: Sorprende que pienses así. Y no creo que ni te lo creas tu.

Creo que tu actitud es la misma que los que juzgaron a Darwin... una pataleta cuando vieron peligrar el concepto de superioridad humana.

La IA ya está haciendo muchisimo trabajo humano. Es una maravilla. ¡Y solo estamos en el comienzo!

Si no nos autodestruimos, es evidente que la mayor parte del trabajo humano desaparecera.

Tambien es muy posible que las máquinas tomen el control.
#55 Llevo muchos años de informático, más las décadas que hubo de ella antes de que dejase de usar pañales, para saber que eso que comentas es una filfa.

La Piedra Filosofal no se descubrió nunca, porque no podía existir. Sólo cuando la química avanzó lo suficiente se entendió que la síntesis de elementos químicos implica reacciones nucleares en el corazón de estrellas, o remanentes de estrellas. Sólo ahí se entendió que el sueño de la Piedra Filosofal era eso, un sueño.

Sobre el asunto que…   » ver todo el comentario
#57 :coletas: Estás constantemente hablando del mundo empresarial, puntocoms y rendimientos economicos.

Olvidate de eso... las armas nucleares tampoco se han popularizado, pero las dominan los gobiernos e influyen en el estatus geopolitico.

Centrate en el avance científico y tecnológico que representa el surgimiento de la IA... ¡y estamos al principio!

¿Puedes saber como será una persona adulta conociendolo unicamente como bebé?

Si la IA no se popularizase (ya lo está), los…   » ver todo el comentario
#35 y cada vez que le meten alguna mejora, (no tanto al modelo en si, ahi ya no tienen mucho que rascar) como han hecho ahora con los skills, abren la caja de pandora. En cosa de un par de semanas hay skills haciendo inyecciones de prompt a traves de comentarios en html que el humano no ve porque en el visualizador de markdown no salen. O mejor aun, el skill malicioso que sacaron aprovechandose de una alucinacion del LLM de turno al escribir mal los comandos npx :popcorn: :popcorn: :popcorn: :popcorn:

Y que conste que yo uso claude code a diario, pero ni de coña soy de los acolitos de la IA que se ven aqui en los comentarios.
#26 :coletas: Y estamos solo al principio. Ha avanzado muchisimo en muy poco tiempo.

Y la AGI tarde o temprano aparecerá, aunque tal vez se necesite un cambio de paradigma tecnológico para crearla.
#24 :coletas: Lo que dices es absurdo, confundes avance tecnologíco y popularización de la tecnología. Las armas nucleares no son populares, no son accesibles para la mayoria, pero estan ahí.

Obvias totalmente el avance tecnologico que representa el surgimiento de la IA. Y no hay vuelta atrás.

Otro tema es el aspecto empresarial. Pero aunque esta tecnologia no se generalice, los gobiernos y las universidades se apoderaran de ella y haran uso de ella, tal como lo han hecho con la…   » ver todo el comentario
#19 si vale la pena o no, se sabra a largo plazo, pero ya es imparable, pq si no lo hace USA, lo hara china, o otro... al coste que sea, es demasiado util y solo acaba de empezar
#9 - Poder traducir lo que has escrito a múltiples idiomas
- Poder preguntarle a una IA por el contenido de una imagen
- Ser capaz de programar código sólo con una frase descriptiva
- Generar imágenes sólo con una frase descriptiva
... y muchas otras cosas
#17 nada que no pudiese hacer antes una persona con formación
#20 Claro, y una grúa no hace nada que no pudiera hacerse antes con cientos de esclavos a latigazos. Lo que hay que leer. Mira que soy crítico con los malditos evangelistas de la IA, pero lo que has dicho es una tontería enorme.
#29 #28 es que no digo eso. Digo: "No creo que nada en absoluto que haya sido creado con una IA generativa haya merecido la destrucción del medio ambiente y la cadena de suministro."

Es útil? Si, ciertamente. Justifica todos esos MW, centrales termicas y trasvase de fondos que podrían servir para otro tipo de investigaciones?

Diría que no o no se ha demostrado aún
#33, no he hecho una evaluación de costes pero si nos ponemos así, por qué mo prohibimos los desplazamientos turísticos en avión, los centros de datos para redes sociales, los desplazamientos en coche particular si existe alternativa?
#33 :coletas: La ciencia y la tecnología avanzan y nos llevan a caminos insospechados. Unas vias se abriran y otras se cerraran, pero así funciona la ciencia.

Que ahora no sea eficiente la IA no significa que no lo sea en el futuro. Estamos en el comienzo.

Lo mas probable es que la IA resuelva los problemas energéticos de la humanidad.
#20, también se podía ir de Europa a Estados Unidos antes de la invención del aeroplano. O que antes que se inventaran los tractores ya existían los animales de tiro.
#20 tengo un amigo que usa la IA para encontrar patrones en imágenes de satélite que ayudan a identificar problemas medioambientales antes de que sean graves, que teóricamente eso lo podría hacer un humano observando miles de imágenes por satélite durante horas, pero en la práctica no se hacía, igualmente se está usando por ejemplo para buscar correlaciones estadísticas en sociología, para diagnóstico médico, para buscar correlaciones entre cadenas de ADN y enfermedades (encontrando los genes…   » ver todo el comentario
#20 O hacer la moderación de contenido en RRSS.

La de gente con problemas psicológicos que se podría haber evitado.

Cc: #17
#17 :coletas: Traduciendo latín es una maravilla, al menos el latin postclasico que yo he probado. Realmente sorprendete. Incluso te dice el estilo del texto y la posible época en que se escribio.

Sorprende muchisimo que sea capaz de entender el contexto de las frases y proponga traducciones mucho mejores que los humanos.
#17 El balance de la IA es totalmente negativo para los ciudadanos, es una carrera entre empresas para ganar más eficiencia reduciendo costes, eliminando gastos laborales y competencia, ventajas para nosotros 0.

Claro que las traducciones son una ventaja, claro que las búsquedas son mucho más fáciles, claro que hay tareas tediosas que se hacen más rápido, y videos muy chulos pero a cambio tienes que ver las consecuencias negativas y el balance de todo ello.

Cuando la humanidad ya está rozando muchos límites que nos ponen en peligro, ha llegado esto a acelerarlo todo.

#9
#9 tiempo al tiempo
#9, creo que tienes un gran sesgo. Decir que los LLMs no han aportado nada no es justo. Es como decir que los aviones no aportan nada porque requieren que alguien los pilote.
#9 Si se han resuelto problemas que no se podrían haber resuelto de otra forma, pero generalmente lo que ha conseguido es que un ordenador simule el trabajo de un humano a una velocidad mucho mayor gastando energía en vez de tiempo humano.
Edito para añadir que estoy totalmente de acuerdo con la duda sobre su compensa el coste medioambiental y social, ojo, lo que discuto es que no haya aportado nada.
#36 ¿Coste medio ambiental y social? Creo que sí mira asuntos humanos como el turismo, la carrera armamentista, la industria del lujo, la ganadería, la minería y un larguísimo etcétera sus costes ambientales y sociales superan cada uno y por mucho lo consumido por la IA.
#9 :coletas: No estás al tanto de la revolucion que está creando la IA en diversos campos científicos, como la química o la ciencia de los materiales.

Como poco, está acelerando la investigación a niveles exponenciales.
#7 Pero vamos a ver, ahora mismo lo que hace cualquier persona que curre en una oficina está más que superado, hay una cantidad enorme de gente que lo único que hace es informes, hojas de cálculo y escribir correos. Ahora resulta que el desarrollo de software va a desaparecer y todos esos puestos que aportan poquísimo valor no.
#34, que sea más sencillo no significa que sea más automatizable.
#38 Menuda cruzada tienes.

Precisamente daba datos Anthropic hace poco, y situaba la automatización prácticamente en el 100% para esos trabajos que comento.
#7 :coletas: Claro que llegará la AGI, aunque tal vez se requiera un cambio de paradigma. El mecanismo de la AGI probablemente será muy diferente al de ChatGPT.
#1 Esa AGI es una utopia actualmente y no va a llegar ni a medio ni a largo plazo, tal y como esta la tecnología es imposible de que algo artificial y sintetico adquiera consciencia,primero de todo porque aun no sabemos lo que es la consciencia en si misma, teorizamos sobre ella como teorizamos con todo lo que se nos escapa a la razón.
#25 ni a medio ni a largo plazo? Entonces llegará a corto plazo o no llegará nunca xD
#25, en ningún lugar de la definición de la AGI se requiere que tenga conciencia.
#32 :coletas: Sí. Algunos piensan que la IA no nos dominará porque no tiene conciencia. Pero en realidad basta con obedecer ordenes de gente que sí.

De todos modos, es cuestión de tiempo que la IA tenga agencia propia.
#48 Define "agencia propia"
#53 Pues es dificil... en principio un ser con agencia actua por iniciativa propia.

Dicho esto... ¿hasta que punto las personas tenemos agencia propia? ¿Hasta que punto estamos determinados por nuestro inconsciente, por la biologia, por la sociedad, por nuestro aprendizaje, por la cultura, por nuestra biografia, por nuestras emociones?

Ni siquiera podemos estar seguro de los motivos por los que hacemos muchas de las cosas que hacemos, por ejemplo por qué elegimos nuestra…   » ver todo el comentario
#25 :coletas: Claro que se sabe qué es la consciencia... otra cosa es que sepamos como funciona o como se elicita. Eres consciente cuando notas el dolor, los colores... otro tipo de consciencia es la que se asocia con el sentido de la identidad, del yo.

Dices que algo artificial y sintéitco nunca adquirirá consciencia. Eso solo es una suposicion tuya. Estamos al comienzo de la IA y ha avanzado muchísimo. ChatGPT ya es inteligente, otra cosa es que sea consciente.

Además, no hace falta la consciencia para actuar en el mundo. De hecho a menudo hacemos cosas y desconocemos los motivos reales por las que las hacemos, o simplemente nos engañamos a nosotros mismos.
#1 Hassabis tiene el Nobel de Química, por un desarrollo que beneficia a toda la humanidad. No tengáis tanto miedo a la ciencia.
#1

¿Por qué dices que ese puesto es pura patraña???

Si tú mismo dices que «el problema no es la IA, sino los chalados que hay detrás». Y luego hablas de «auténticos sicópatas».

Este argumento me parece que entra en contradicción total con la primera afirmación sobre que el puesto de experto en seguridad es pura patraña.

Si bien es cierto que "seguridad" no exactamente lo mismo que "ética" ≈ no ser un psicópata, la preocupación por el bienestar de los demás...…   » ver todo el comentario
#61 no es una patraña el trabajo en si. Lo que es una patraña es el puesto dentro de anthropic. Al igual que su manifiesto es de cara a la galería. Se la suda esos temas al igual que Google cuando despidió a investigadores de seguridad cuando se pasaron de exquisitos.

Simplemente no habrá sido capaz de reconciliar su propia ética con la ética de su empresa. Cuando tus consejos no llegan a ninguna parte solo te queda cobrar el cheque o irte
Creo que yo también dimitiría si fuera responsable de cosas como "reducir los riesgos de bioterrorismo asistido por IA"

Énfasis en reducir. :-S
Después de leerme la carta del tío, me da la impresión personal de que este colega también le daba al LSD y al MDMA porque vaya tela, menuda fumada de carta.
Recordemos el nombre de Suchir Balaji, no vaya a caerse alguien de nuevo sobre una bala.
#13 Interesante, no conocía a éste chaval. Un mundo muy oscuro, el de las tecnológicas USAnas, muchísimos miles de millones en juego.
Recomiendo el libro "Los humanoides" de Jack Williamson. Un libro escrito en 1966 que define paso a paso lo que ocurrirá con la IA.
Resistance is futile.
el mundo SIEMPRE ha estado en peligro.
por qué? porque ha MUCHO hijo de puta y MUCHO subnormal
#69 Añade a eso que a partir de ahora también habrá mucha maquina hija puta y subnormal :-D
No se alarmen ¡¡Vamos a morir todos!!
Dice el articulo: "que permite crear impecables proyectos de software sin saber nada de programación".

No lo han usado o no saben programar...
A este señor le pasa lo que le pasa a muchos profesionales que han ganado tantísimo dinero: su trabajo ha dejado de importarle y ahora se quiere dedicar a la filosofía, la poesía, coaching, vestirse de golondrino o plantar algas bajo agua bendita en la azotea de un rascacielos.

Lo que pasa es que suenan las palabras mágicas: IA, Anthropic, seguridad, fin del mundo y de repente esta noticia es superrelevante.
#71 :coletas: Sí, la IA representa una amenaza para la humanidad y también una oportunidad. Se va a emplear para bien y para mal. Y también hay la posibilidad que las maquinas tomen el control para bien propio o de oligarcas tecnocraticos.

Pero yo alucino que en este debate muchos desprecien el poder y posibilidades de la IA.

No saben lo que les viene encima... hasta hay uno que compara la IA con internet... cuando internet no mes más que un sistema de transporte de informacion!

Simplemente no entienden el cambio de paradigma, no se han dado cuenta que esto es una revolucion.

Y la AGI será el siguiente cambio de paradigma.
Un pelín exagerado: la IA permanecerá, sin duda, pero el socialcomunismo desaparecerá en los próximos años y solo por esto ya es momento de gloria y progreso para la Humanidad (excepto para los idiotas votantes de la izquierda)
La tecnología no es mala per se. Al igual que un cuchillo o una pala no son ni buenas ni malas. Todo o depende de en qué manos estén esos instrumentos y a qué intereses obedezca su uso.
En lo que nadie quiere incidir es que esa tecnología está en manos de los que aparecen en los Archivos Epstein, y estamos comprobando su calaña e intereses.
En esas manos, claro que la IA es un peligro. Ese es el quid de la cuestión. Pero es que en esas manos es peligroso todo.
#12 :coletas: Un grave problema es que es una tecnologia accesible a muchos millones de personas. Las armas nucleares no.
#47 realmente, que una tecnología sea masiva o no, no influye en el objetivo y los fines para lo que se utiliza. En ambos casos, la IA o las RRSS, y las bombas nucleares, atienden principalmente al interés del mismo grupo de Poder.
Ahí están los algoritmos, que anulan la posible neutralidad de la tecnología masiva.
#12 La IA es incontrolable y ya está en manos de sicópatas.

menéame