Menéame: comentarios [4110673]

#28 Un fallo de DNS puso a AWS de rodillas [ENG]

sxentinel — Sat, 25 Oct 2025 18:04:20 +0000

#27 Si, si lo entiendo. Es simplemente que últimamente tengo la impresión de que la mayoría de problemas en la red viene por ahí.

» autor: sxentinel

#27 Un fallo de DNS puso a AWS de rodillas [ENG]

Mildranx — Sat, 25 Oct 2025 16:28:34 +0000

#24 al final es el punto de entrada a cualquier sistema, si no puedes resolver eso, por muy robusto q sea un sistema no le llegan los clientes....

» autor: Mildranx

#26 Un fallo de DNS puso a AWS de rodillas [ENG]

elgranmago — Sat, 25 Oct 2025 15:13:12 +0000

#15 El CTRL-C / CTRL-V moderno

» autor: elgranmago

#25 Un fallo de DNS puso a AWS de rodillas [ENG]

inar — Sat, 25 Oct 2025 11:58:09 +0000

#15 Por eso inventamos los ordenadores, para poder cagarla más gorda aún
Las IA son el siguiente paso lógico en esa línea

» autor: inar

#24 Un fallo de DNS puso a AWS de rodillas [ENG]

sxentinel — Sat, 25 Oct 2025 11:56:35 +0000

¿Soy yo o últimamente parece que la mayoría de fallos de la red vienen del sistema de DNS?

» autor: sxentinel

#23 Un fallo de DNS puso a AWS de rodillas [ENG]

frankiegth — Sat, 25 Oct 2025 10:36:51 +0000

#0. Relacionado. En este video explican con sencillas definiciones, esquemas y ejemplos exactamente lo que ocurrio en la caida de los servicios globales en Internet de AWS. El video está tan bien planteado que no solo queda al alcance de cualquiera sino que se trata de una excelente introducción a AWS.
'...La caída de AWS que rompió Internet. LA EXPLICACIÓN COMPLETA...'
www.youtube.com/watch?v=LamFqifaAJ8

» autor: frankiegth

#22 Un fallo de DNS puso a AWS de rodillas [ENG]

Dravos — Sat, 25 Oct 2025 09:55:08 +0000

#1 Esto es un fallo en cadena si alguna vez he visto uno.

» autor: Dravos

#21 Un fallo de DNS puso a AWS de rodillas [ENG]

capitan__nemo — Sat, 25 Oct 2025 08:33:53 +0000

#13 Hace poco hemos tenido un caso similar con el apagón electrico iberico del 28 de abril de 2025.
Ha habido tambien varias caidas de los sistemas de aeropuertos, facturacion y lineas aereas que han dejado vuelos en tierra por bastantes horas.

» autor: capitan__nemo

#20 Un fallo de DNS puso a AWS de rodillas [ENG]

tierra_del_hielo — Sat, 25 Oct 2025 08:08:23 +0000

#6 porque los servicios "globales" en realidad son "us-east-1".

» autor: tierra_del_hielo

#19 Un fallo de DNS puso a AWS de rodillas [ENG]

chochis — Sat, 25 Oct 2025 07:16:46 +0000

Un clásico youtu.be/i_cVJgIz_Cs?si=E_yHFF6awgSHec89

» autor: chochis

#18 Un fallo de DNS puso a AWS de rodillas [ENG]

Bringero — Sat, 25 Oct 2025 06:50:39 +0000

Nos veo a todos hablando, como si no se nos escapara algún where, en un delete from ...

» autor: Bringero

#17 Un fallo de DNS puso a AWS de rodillas [ENG]

kobofen — Sat, 25 Oct 2025 06:40:05 +0000

#1 La condición de carrera se produjo cuando un Enactor de DNS experimentó retrasos inusualmente altos mientras el Planificador de DNS continuaba generando nuevos planes. Un segundo Enactor de DNS comenzó a aplicar los planes más nuevos y ejecutó un proceso de limpieza justo cuando el primero completaba su ejecución retrasada. Esta limpieza eliminó el plan anterior por obsoleto, eliminando inmediatamente todas las direcciones IP del punto final regional y dejando el sistema en un estado inconsistente que impidió que los Enactores DNS aplicaran actualizaciones automáticas adicionales.

Digo yo de meterle un gestor de colas. Aparte, toca reescribir eso usando operaciones atómicas.

Un video, no muy largo, acariciando la complejidad del problema.
www.youtube.com/watch?v=JAtU9_VpepM

NO useis nunca el algoritmo de Dekker!! Usad mutexes a través del OS.

» autor: kobofen

#16 Un fallo de DNS puso a AWS de rodillas [ENG]

kobofen — Sat, 25 Oct 2025 06:31:43 +0000

#4 it's not a bug, it's a feature.

» autor: kobofen

#15 Un fallo de DNS puso a AWS de rodillas [ENG]

kobofen — Sat, 25 Oct 2025 06:25:58 +0000

#9 Equivocarse es humano, pero para amplificar el error hasta proporciones catastróficas hace falta un ordenador.

» autor: kobofen

#14 Un fallo de DNS puso a AWS de rodillas [ENG]

kobofen — Sat, 25 Oct 2025 06:24:35 +0000

estimaciones de daños que potencialmente podrían alcanzar cientos de miles de millones de dólares.

Ya no se puede hacer nada sin ordenadores. No existe alternativa.

Por ejemplo, esos genios que dicen de quitarle la criptografía a internet, no creo que sepan que eso pararía toda la producción manufacturera, la just in time, inmediatamente.

» autor: kobofen

#13 Un fallo de DNS puso a AWS de rodillas [ENG]

tierra_del_hielo — Sat, 25 Oct 2025 01:17:06 +0000

#4 tienen un equipo de calidad/testing.

Pero si el equipo es capaz de detectar el 99,999% de los casos. Te acabas de encontrar el caso 0,001%...

» autor: tierra_del_hielo

#12 Un fallo de DNS puso a AWS de rodillas [ENG]

tierra_del_hielo — Sat, 25 Oct 2025 01:15:35 +0000

#2 donde? A mi no me consta ninguna compensación.

» autor: tierra_del_hielo

#11 Un fallo de DNS puso a AWS de rodillas [ENG]

Vhalar — Fri, 24 Oct 2025 23:37:12 +0000

#3 Venia a decir esto. Ultimamente los fallos gordos que veo en estos servicios cloud son debidos a algun tema raro con las DNS. Debe ser un follon el tema de enrutamientos dinamicos de infraestructura.

» autor: Vhalar

#10 Un fallo de DNS puso a AWS de rodillas [ENG]

ambizogato — Fri, 24 Oct 2025 23:19:06 +0000

#4 todo usuario con experiencia sabe que us-east-1 es SPOF de toda la amazonia. Si eso cae, no existe.
Decidieron eso, y así funciona.
¿Funciona bien?, pues sí, en general. Pero cuando tienes un problema ahí se va todo el universo a hacer puñetas.

» autor: ambizogato

#9 Un fallo de DNS puso a AWS de rodillas [ENG]

Sadalsuud — Fri, 24 Oct 2025 23:04:58 +0000

Pues si esto os parece inaceptable o increíble, esperaos a que las IAs vayan tomando el control de estas infraestructuras prioritarias. Son básicamente cajas negras de las que esperas unos resultados que a veces no son los que debieran, así que el día que ocurra algo con alguna de ellas, no van a tener forma de saber en donde se originó la cagada...

» autor: Sadalsuud

#8 Un fallo de DNS puso a AWS de rodillas [ENG]

ambizogato — Fri, 24 Oct 2025 23:04:07 +0000

#2
1 - La explicación es bastante basura. A algunos les valdrá esa explicación. A mí no. Pero es una guerra que ya sé que tengo perdida.
2 - Te voy a cumplir con un SLA garantizado que, ¡uy! esto no lo contempla.

» autor: ambizogato

#7 Un fallo de DNS puso a AWS de rodillas [ENG]

ambizogato — Fri, 24 Oct 2025 22:57:39 +0000

#6 La vieja coña de "la nube son servidores de otros" nunca tiene en cuenta que los programadores son "programadores de otros".

» autor: ambizogato

#6 Un fallo de DNS puso a AWS de rodillas [ENG]

ambizogato — Fri, 24 Oct 2025 22:54:15 +0000

¿Por qué un cagadón en una región en un servicio no relacionado afecta a IAM en otro continente?

Porque IAM es una basura espectacular.

Todo servicio AWS "viejo" es un engendro. Los nuevos son "engendrados".

» autor: ambizogato

#5 Un fallo de DNS puso a AWS de rodillas [ENG]

gotxi85 — Fri, 24 Oct 2025 22:35:15 +0000

dnshaiku.com/

» autor: gotxi85

#4 Un fallo de DNS puso a AWS de rodillas [ENG]

capitan__nemo — Fri, 24 Oct 2025 22:28:33 +0000

¿Cómo es que no habian descubierto antes este bug en la infraestructura?
Descubrir la posibilidad de que este problema ocurriese para haberlo resuelto con antelacion.
¿No tienen suficientes personas o equipos dedicados a calidad y testing de todos los sistemas?
¿El fallo no seria ese en vez del de DNS descrito?

» autor: capitan__nemo

#3 Un fallo de DNS puso a AWS de rodillas [ENG]

eltxoa — Fri, 24 Oct 2025 20:05:57 +0000

Siempre son las DNS!

» autor: eltxoa

#2 Un fallo de DNS puso a AWS de rodillas [ENG]

cosmonauta — Fri, 24 Oct 2025 19:27:49 +0000

Algunos decían que no se explicaría.

Incluso se activarsn compensaciones por SLAs incumplidos.

» autor: cosmonauta

#1 Un fallo de DNS puso a AWS de rodillas [ENG]

gelatti — Fri, 24 Oct 2025 18:25:04 +0000

El incidente comenzó a las 23:48 PDT del 19 de octubre (7:48 UTC del 20 de octubre), cuando los clientes informaron un aumento en la tasa de errores de la API de DynamoDB en la región US-EAST-1 del norte de Virginia. La causa principal fue una condición de carrera en el sistema automatizado de gestión de DNS de DynamoDB que dejó un registro DNS vacío para el punto final regional del servicio.

El sistema de gestión de DNS consta de dos componentes independientes (por razones de disponibilidad): un Planificador de DNS que supervisa el estado del balanceador de carga y crea planes de DNS, y un Enactor de DNS que aplica los cambios a través de Amazon Route 53.

El análisis posterior de Amazon indica que la tasa de errores se desencadenó por un defecto latente en el sistema automatizado de gestión de DNS del servicio.

La condición de carrera se produjo cuando un Enactor de DNS experimentó retrasos inusualmente altos mientras el Planificador de DNS continuaba generando nuevos planes. Un segundo Enactor de DNS comenzó a aplicar los planes más nuevos y ejecutó un proceso de limpieza justo cuando el primero completaba su ejecución retrasada. Esta limpieza eliminó el plan anterior por obsoleto, eliminando inmediatamente todas las direcciones IP del punto final regional y dejando el sistema en un estado inconsistente que impidió que los Enactores DNS aplicaran actualizaciones automáticas adicionales.

Antes de la intervención manual, los sistemas que se conectaban a DynamoDB experimentaban fallos de DNS, incluyendo el tráfico de clientes y los servicios internos de AWS. Esto afectó los lanzamientos de instancias de EC2 y la configuración de la red.

DropletWorkflow Manager (DWFM), que gestiona las concesiones de los servidores físicos que alojan instancias de EC2, depende de DynamoDB. Cuando fallos de DNS provocaban fallos en las comprobaciones de estado de DWFM, los droplets (los servidores de EC2) no podían establecer nuevas concesiones para los cambios de estado de las instancias.

Tras la recuperación de DynamoDB a las 2:25 a. m. PDT (9:25 a. m. UTC), DWFM intentó restablecer las concesiones en toda la flota de EC2. La magnitud del proceso llevó tanto tiempo que las concesiones comenzaron a caducar antes de completarse, lo que provocó que DWFM entrara en un colapso por congestión, lo que requirió intervención manual hasta las 5:28 a. m. PDT (12:28 p. m. UTC).

A continuación, Network Manager comenzó a propagar una enorme acumulación de configuraciones de red retrasadas, lo que provocó que las instancias de EC2 recién lanzadas experimentaran retrasos en la configuración de red.

Estos retrasos en la propagación de la red afectaron al servicio Network Load Balancer (NLB). El subsistema de comprobación de estado de NLB eliminó las nuevas instancias de EC2 que no superaron las comprobaciones de estado debido a retrasos en la red, y las restauró cuando las comprobaciones posteriores tuvieron éxito.

Con el lanzamiento de instancias de EC2 afectado, los servicios dependientes, como Lambda, Elastic Container Service (ECS), Elastic Kubernetes Service (EKS) y Fargate, experimentaron problemas.

AWS ha deshabilitado la automatización de DynamoDB DNS Planner y DNS Enactor en todo el mundo hasta que se implementen las medidas de seguridad necesarias para evitar que la condición de carrera se repita.

En su disculpa, Amazon declaró: «A medida que continuamos trabajando en los detalles de este evento en todos los servicios de AWS, buscaremos formas adicionales de evitar el impacto de un evento similar en el futuro y de reducir aún más el tiempo de recuperación».

La prolongada interrupción afectó a sitios web y servicios durante el día. También afectó a los servicios gubernamentales. Algunas estimaciones sospechan que el caos y los daños resultantes podrían alcanzar cientos de miles de millones de dólares.

» autor: gelatti