Un fallo de DNS puso a AWS de rodillas [ENG]

Amazon ha publicado un informe detallado que explica cómo una falla crítica en el sistema de administración de DNS de DynamoDB derivó en una interrupción que duró un día e interrumpió importantes sitios web y servicios de múltiples marcas, con estimaciones de daños que potencialmente podrían alcanzar cientos de miles de millones de dólares.

[#1 gelatti]

El incidente comenzó a las 23:48 PDT del 19 de octubre (7:48 UTC del 20 de octubre), cuando los clientes informaron un aumento en la tasa de errores de la API de DynamoDB en la región US-EAST-1 del norte de Virginia. La causa principal fue una condición de carrera en el sistema automatizado de gestión de DNS de DynamoDB que dejó un registro DNS vacío para el punto final regional del servicio.

El sistema de gestión de DNS consta de dos componentes independientes (por razones de disponibilidad):…   

[#17 kobofen]

#1 La condición de carrera se produjo cuando un Enactor de DNS experimentó retrasos inusualmente altos mientras el Planificador de DNS continuaba generando nuevos planes. Un segundo Enactor de DNS comenzó a aplicar los planes más nuevos y ejecutó un proceso de limpieza justo cuando el primero completaba su ejecución retrasada. Esta limpieza eliminó el plan anterior por obsoleto, eliminando inmediatamente todas las direcciones IP del punto final regional y dejando el sistema en un estado

…   

[#3 eltxoa]

Siempre son las DNS!

[#11 shotgan]

#3 Venia a decir esto. Ultimamente los fallos gordos que veo en estos servicios cloud son debidos a algun tema raro con las DNS. Debe ser un follon el tema de enrutamientos dinamicos de infraestructura.

[#4 capitan__nemo]

¿Cómo es que no habian descubierto antes este bug en la infraestructura?
Descubrir la posibilidad de que este problema ocurriese para haberlo resuelto con antelacion.
¿No tienen suficientes personas o equipos dedicados a calidad y testing de todos los sistemas?
¿El fallo no seria ese en vez del de DNS descrito?

[#10 Dasmandr]

#4 todo usuario con experiencia sabe que us-east-1 es SPOF de toda la amazonia. Si eso cae, no existe.
Decidieron eso, y así funciona.
¿Funciona bien?, pues sí, en general. Pero cuando tienes un problema ahí se va todo el universo a hacer puñetas.

[#13 tierra_del_hielo]

#4 tienen un equipo de calidad/testing.

Pero si el equipo es capaz de detectar el 99,999% de los casos. Te acabas de encontrar el caso 0,001%...

[#16 kobofen]

#4 it's not a bug, it's a feature.

[#9 Sadalsuud]

Pues si esto os parece inaceptable o increíble, esperaos a que las IAs vayan tomando el control de estas infraestructuras prioritarias. Son básicamente cajas negras de las que esperas unos resultados que a veces no son los que debieran, así que el día que ocurra algo con alguna de ellas, no van a tener forma de saber en donde se originó la cagada...  

[#15 kobofen]

#9 Equivocarse es humano, pero para amplificar el error hasta proporciones catastróficas hace falta un ordenador.

[#2 cosmonauta]

Algunos decían que no se explicaría.

Incluso se activarsn compensaciones por SLAs incumplidos.

[#8 Dasmandr]

#2
1 - La explicación es bastante basura. A algunos les valdrá esa explicación. A mí no. Pero es una guerra que ya sé que tengo perdida.
2 - Te voy a cumplir con un SLA garantizado que, ¡uy! esto no lo contempla.

[#12 tierra_del_hielo]

#2 donde? A mi no me consta ninguna compensación.

[#5 gotxi85]

dnshaiku.com/

[#19 chochis]

Un clásico youtu.be/i_cVJgIz_Cs?si=E_yHFF6awgSHec89

[#14 kobofen]

estimaciones de daños que potencialmente podrían alcanzar cientos de miles de millones de dólares.

Ya no se puede hacer nada sin ordenadores. No existe alternativa.

Por ejemplo, esos genios que dicen de quitarle la criptografía a internet, no creo que sepan que eso pararía toda la producción manufacturera, la just in time, inmediatamente.

[#6 Dasmandr]

¿Por qué un cagadón en una región en un servicio no relacionado afecta a IAM en otro continente?

Porque IAM es una basura espectacular.

Todo servicio AWS "viejo" es un engendro. Los nuevos son "engendrados".

[#7 Dasmandr]

#6 La vieja coña de "la nube son servidores de otros" nunca tiene en cuenta que los programadores son "programadores de otros".

[#20 tierra_del_hielo]

#6 porque los servicios "globales" en realidad son "us-east-1".

[#18 Bringero]

Nos veo a todos hablando, como si no se nos escapara algún where, en un delete from ...