Hace 3 años | Por mr._cortimer a theregister.com
Publicado hace 3 años por mr._cortimer a theregister.com

Ésta madrugada se ha producido un incendio en el centro de datos SBG de OVH, quedando fuera de servicio

Comentarios

ragnarel

#8 ya hay algún comentario en Twitter en plan: "mis servidores están ahí, y mis snapshots y backups también".

c

Se me acaba de ir atpc el server de correo y un servicio web...

Y tenía el plan más barato. A ver si se salva algo...

frg

#6 ¿Has visto alguno de esos sistemas en funcionamiento? Porque tenerlos no implica que en caso de un incendio gordo logres salvar algo. Si el incendio se provoca dentro del CPD, (casi) seguro que no tienes problemas, aparte de los derivados del hollín, pero si el incendio se produce fuera, pero en el mismo edificio, tu sistema de extinción es posible que solo sea de adorno.

Seguro que también has tenido copias de seguridad dentro de un armario ignífugo, pero aparte de tenerlo hay que saber que dicho armario solo aguanta unos minutos al fuego, por lo que también tienes que tener copias en otro edificio, a ser posible en otra falla tectónica.

frg

#1 Una copia no es suficiente, dice el refrán, y recuerda que tienen que estar en localizaciones diferentes, y no en la torre de al lado (recuerda las torres gemelas).

p

#21 The cloud is on fire. Follow the leader leader leader.....

squanchy

#38 Increíble. Yo tenía 5 copias de mi proyecto fin de carrera, en los tiempos donde aún no tenía internet: la de trabajo en mi equipo, un zip en mi equipo, una diaria en un cajón de la mesa de trabajo, y dos semanales en lugares diametralmente opuestos de mi casa.

c

#41 Parte de SBG1 también ha sido destruido. Yo tengo una máquina por ahí. Por suerte tengo copia de seguridad, pero veremos como está el tema.

> Decir que no me han mandado ni un triste email de aviso....

Tendrán el servidor de correo en SBG2... lol

Jesulisto

#4 Si no necesitas que te administren nada es difícil de superar en Europa, al menos.

D

Me acabo de cargar encima y de forma literal no metafórica.... Todo está en Gra1 menos mal

e

#15 Un cliente tenía el principal y el backup en dos pisos distintos del mismo edificio en un colocation con una aerolinea (no puedo decir más). Hubo un incendio, y hubo que correr para ampliar las comunicaciones hasta donde tenían la maqueta que mágicamente se convirtió en su host de producción.

Moraleja: ten en sitios separados producción, respaldo, y desarrollo. Ahora con la nube, TAMBIEN.

Superamo

#72 Que sepa usted que su comentario hilando fino no ha pasado desapercibido clap

kmon

#25 lo del Halon se trata de llenar la estancia con ese tipo de gas, que tiene la capacidad de detener las reacciones químicas y sofocar el fuego rápidamente, además de la ventaja de que no deja residuos en las máquinas. El sistema debe avisar antes de soltarlo, el problemilla es que si no has salido a tiempo y lo respiras es súper tóxico. Y también que es muy contaminante.

Lo que comenta #20 de secuestrar el oxígeno, creo que se refiere a los sistemas que sustituyen el aire de la estancia con un gas inerte, desplazando el oxígeno, pero en cualquier caso se reduce hasta un nivel que reduce la combustión sin ser mortal para las personas.

m

No lo entiendo. En todos los todos en los que he estado el sistema antiincendios era algo esencial. De hecho, estaban más pensados para salvaguardar la integridad de los equipos que si eras un currito, que tenías muchas posibilidades de quedarte como un pajarito allí.

s

#73 La urgente solo era una. Una DAT de un sistema de venta online que seguia en alpha y solo tenia una usuario diario (no demasiado crítico). Esa aun conservaba la caja y solo tenia un poco de humedad de condensación en el interior. La deje secar y restauro sin problemas.
Las otras (DLT's) las deje en un cajon. Al cabo de un tiempo por puro morbo, probe de catalogar una de las que estaban sin caja, la que tenia el mínimo de suciedad. La limpie externamente y funciono sin problemas.
Realmente la información estaba en la bobina de cinta, y esas cintas llevan un monton de redundancia, así que si el sustrato magnetico esta bien y la cinta sigue siendo flexible, sigue sigue siendo posible leerlas. Lo que si podria pasar es que el polvo dañase los cabezales de lectura, o los mecanismos físicos de la DLT. El calor podria estropearlas, pero de origen pueden aguantar hasta 52 grados C, de forma puntual.

Aunque ya no esta de moda, creo que los sistemas de cinta siguen siendo una buen seguro como opción de restauración de ultimo recurso.

Stash

#25 La extinción de incendios no se hace con agua en un CPD. La lias parda de verdad si rocías agua.

Se hace, generalmente, con un gas que "se come" literalmente el oxígeno en segundos. Antes se usaba Halón, un gas extintor pero al ser un CFC y ser tóxico se retiró y se sustituyo por otros gases, Inergén por ejemplo.
Estos nuevos desplazan al oxígeno.

El disparo es que se descargan las botellas de gas en la sala y se extingue el incendio por secuestro o desplazamiento del oxígeno. Vamos, que no dejas el oxígeno disponible para el fuego y este se ahoga.

Se ahoga el fuego y los que estén en la sala si no sales cagando leches.
Si el fuego no respira, el técnico o el operador de sala, tampoco.
Se activa una sirena fuerte en la sala y en la central de alarmas del edificio.

Salieron de la sala del CPD nada más.

ACEC

#8 Las hay que no saben ni lo que es un DR (acabo de hablar con una de esas...)

squanchy

#35 Y más caro. Las pymes muertas de hambre prefieren pagar X euros al año por un hosting y olvidarse de problemas, que tener que comprar un ordenador, tenerlo siempre enciendido, pagar la ip fija, pagar el montaje de los servicios, etc.

Yo llevo dos pymes con servidor propio y lo han hecho por la falsa sensación de seguridad de que como tienen el ordenador en sus instalaciones, creen que es más difícil que haya accesos indebidos, que les roben los datos, etc.

bitman

#87 Estuve en OVH y en 1&1. OVH bueno, daba quebraderos de cabeza pero podía vivir con ello; pero a 1&1 no vuelvo ni aunque sea el último proveedor del planeta, menudo trato de mierda al cliente

m

#6 por ahí el leido que el gas halón está prohibido en la UE

D

#77 pero había copia o no?, que si no hoy no duermo!

p

#12 y simulacros periódicos de recuperación efectiva para no enterarse de que no funciona cuando haga falta que lo haga

otama

#70 ¡El mismo uso yo!
Antes estaba en Amazon ec2, pero hetzner da un precio mucho más ajustado, ¡y va igual de bien!

Unregistered

#1 Vídeo de cómo ha quedado el SBG2 :

OriolMu

#13 En cambio sí que se permite el argón para la protección antiincendios de CPD's.

B

#88 se llama cpd containerizado, hace unos años la empresa instalador apara oa que trabajaba hicimos uno en Barcelona, si están bien hechos no tienen porque ser malos, incluso al contrario. De hecho la principal ventaja es que se levantan en meses (viene hechos el interior en un taller,hasta el cableado lo traen preconectoeizado) y se pueden rehacer en unos años desde cero, se quitan los viejos pones otros nuevos y a correr. Asi aprovechas mucho mejor espacio y estas al dia de tecnologías, sobre todo de climatización.
Pero claro hay gamas y gamas de cpd containerizados... Igual prescindieron de la extinción adecuada, o del mantenimiento....

ccguy

#4 Depende de lo que tengas ahí. Para chorradas personales, sí.

ccguy

#128 claro, pero entonces ya no es tan barato.

freelancer

#18 Esa silla manteniendo la puerta antifuego abierta porque alguien estaba trasladando servidores.

kumo

#4 Un problema cada 3 años no está mal y esto ha sido un incendio. Mira cuando se cae Amazon y te tira MNM lol lol

Además, ultimamente los servicios de hosting se han subido mucho a la parra. Entre otras cosas porque goDaddy se ha ido haciendo con la competencia. Así que uno con un precio normal, se agradece

SalsaDeTomate

Gente, no dejéis nunca de lado los backups físicos. Yo tengo backups en la nube, pero los físicos los sigo manteniendo "por lo que pueda pasar".

l

#92 Y si te digo que lo que se ha perdido es el sistema de contabilidad historico incluido
No solo es un marron tener que facturar a mano este mes sino que legalmente estan en un lio

Pagaria por estar en alguna reunion hoy explicando que ha pasado y xq no hay solucion

c

#6 Habra que esperar a conocer los detalles... pero si, resulta increíble.

frg

#57 "Simulacros periódicos de recuperación efectiva" lol lol
De todos mis trabajos creo que solo en uno he realizado algún tipo de "simulacros de recuperación efectiva". En el resto, solo esperan a que un Ransomware arrase sus equipos para "planificar" uno, e incluso en alguno de ellos no tenía cintas suficientes para "exportar" afuera, por lo que la información almacenada fuera del edificio era francamente escasa, e inútil ante cualquier escenario que implicara una recuperación completa.

Solo tienes que mirar las noticias de la SEPE, para ver todo lo que no se suele hacer:

La web de SEPE restaurada desde Wayback Machine (archive.org)

Hace 3 años | Por gershwin a twitter.com

H

#66 yo me acuerdo de una vez en un hospital donde trabajaba se hizo un simulacro. No se que coño hizo el técnico externo que lo volcó en los equipos en producción y se cargo los datos reales. Para colmo los de backup no recuperaban y se perdieron todos los datos.
Se pudieron recuperar la mayoria por una copia de la BD que habia hecho uno de los programadores en su portátil en la que hacía pruebas.
Claro está que hoy en día con las. Máquinas virtuales es más fácil, pero ese entonces mucho era tener un robot de copias y no un señor que por la noche solo cambiaba cintas

frg

#38 Me recuerda a un estudiante de doctorado que me vino con un pen-drive inaccesible, donde tenía su única copia. Una copia nunca es suficiente.

frg

#38 Diles que cuando rehagan todo el trabajo perdido, seguro que lo hacen mejor

analphabet

#1 jaja a mi me ha dado un escalofrío, menos mal que no ha sido en RBX

squanchy

#75 Yo a uno que su tesis la tenía en un ordenador y su casa se incendió, y luego no le arrancaba, así que la hizo de nuevo de cero. Cuando me lo comentó le dije que si había probado a ver si el disco duro había sobrevivido al incendio, porque podían haberse estropeado otros componentes pero el disco seguir intacto, y me dijo que no. También le informé de que hay empresas que consiguen extraer información de discos dañados. Menuda cara se le quedó.

D

#33 A mí no me ha pasado en AWS en tres años. Caída de servicio durante toda la mañana porque se han quedado sin internet.

Lerena

Se supone que los servidores de datos están en bunqueres a prueba de incendios terremotos y otras cosas.
Parece ser que nuestros datos están en edificios de oficinas donde si alguien no apaga bien una colilla se pega fuego el edificio y se pierde todo

Komod0r

su firewall parece que no era muy bueno

angelitoMagno

#9 Cierto, pero montar un hosting privado en un equipo propio para servir una web empresarial sencillita es bastante complejo para una pyme normal y te acabará dando más problemas.

frg

#34 Una curiosidad, de esas cintas "rebozadas", ¿se pudieron usar, o solo recurriste a las que aguantaron "el chaparrón"?, si se pudieron usar, ¿cómo se consigue?

p

#55 yo conocí a uno que tenía la única copia de su tesis sin presentar aún en un floppy que daba errores de lectura :-0

frg

#107 Muy mal suena lo que cuentas. Que uno de los programadores tenga una copia con datos reales de un hospital en su portátil es más que preocupante.

frg

#118 Si, entonces ya se vendían datos, incluso sin LOPD.

frg

#116 Como arda GRA, te vas a reír

frg

#125 Con tener la infraestructura distribuida entre sus centros de datos es suficiente. La coletilla "si no necesitas que te administren nada" es la correcta, implicando que todo, y eso incluye HA y Backup, lo tienes que gestionar.

frg

#79 Las empresas de recuperación de datos, aparte de poco trasparentes, suelen ser realmente caras. Poca gente puede permitirse lidiar con semejantes usureros.

frg

#98 Si que hay solución. Despedir a todos los responsables de dicho cúmulo de malas prácticas. Ahora todos los incompetentes a escurrir el bulto.

frg

#129 Menudos güebos. La mierda siempre es mucho más barata hasta que salpica, ...

Stash

#18 En uno grandote, al norte de Madrid, importante, justo antes de entrar yo a trabajar allí, se produjo el famoso "Disparo de Halón".
Se disparó accidentalmente el halón de extinción y los que estaban salieron por patas y por los pelos.
El halón "secuestra" el oxígeno y te quedas sin él en segundos.
Ya no se usa por ser un CFC.

s

#63 Bueno, cuando fuimos a buscar las que sobrevivieron (dos juegos dia -1 i -2) me di cuenta lo poco que abultaban, las podias coger con una mano. Al final de la jornada me las lleve a casa con el coche, ya que no tenia donde dejarlas. En ese momento me di cuenta que si tiraba esas cintas por la ventana me cargaba toda la empresa. Por suerte no caí en la tentación.
Ya no trabajo allí pero me aun sigo encontrando dificultades en gastar en sistemas nuevos de cinta, o en externalizar el sistema de copia.

s

#53 No, una cadena de supermercardos que acabo comprando el grupo Eroski.

ochoceros

#57 Es necesario tener un protocolo de recuperación de desastres claro y conciso, con copia en papel de los pasos a seguir. Que incluso aunque le caiga un rack de servidores encima al informático tiene que ser posible recuperarlo.

Lo que dice #78 de desplegar entornos de pruebas desde datos de backups también es fundamental para tener soltura y verificar el funcionamiento. Y tener hardware de repuesto o proveedor en la nube alternativo.

ochoceros

#77 Si tenías la copia se lo tenías que vender a precio de nuevo, hecho por consultora cara

Ferran

#81 13 años llevo yo en Hetzner... sólo tu ve un problema porque el disco duro que tenía llevaba 10 años sin cambiarse lol

Por suerte tenía dos balanceados y copias de seguridad de todo, lo cambiaron y listo.

T

#10 No pasa nada, eso luego lo pones en arroz y solucio...

T

#13 ¿Desde cuándo? Porque sé de un edificio que se suponía que lo tenía así.

elGude

#56 Ambos.

T

#39 Ah, vale, yo lo supe antes, pero no sé si lo cambiaron, supongo que sí.

D

Suerte #2

D

Después del problema de hace tres años que les dejó sin Internet medio día, ¿tan barato es OVH que compensa?

SalsaDeTomate

#4 Es barato pero limitado en muchas cosas. Yo estaba en su día y me mudé. Depende de lo que cada uno necesite.

D

#12 el susto fue por qué no me acordaba donde estaba mis servidores.

Y lógico que el bkp está en otro sitio

m

#37 parece que desde 2000, porque es un gas CFC

sieteymedio

#28 ¿Eso te dijo Rubén? ¿Pero Rubén García o Rubén Pérez?

I

#2 Ya somos tres. Yo tenía un cloud server y no puedo acceder...

P

#4 #5 Buf, yo he trabajado con algún cliente que tiene OVH y siempre es un horror.

freelancer

#78 Yo restauro todas las copias de las bbdd como fase final de la copia en un servidor oob. Si la copia no se levanta y los datos no son accesibles > exit 1

m

#87 el 1&1 es morralla para que una panadería tenga una web y un correo electrónico. las empresas mínimamente decentes no usan 1&1

D

#66 que cabrón, has ido a pillar

I

#137 Sobre las copias de seguridad, deberían tenerlas e intentar restaurarlas lo antes posible. Al no funcionar muchos servicios, es lógico pensar que el sistema de redundancia de datos no lo tienen operativo o directamente no cubre lo necesario.
Puedes ver desde el panel de control dónde tienes tus datos alojados.

Aquí van actualizando info: https://www.ovh.es/noticias/prensa/cpl1785.incendio-recinto-estrasburgo

Según ellos:
----------------------
Status of Strasbourg Datacenter
SBG1 : Network Room is OK - 4 room destroyed - 8 Rooms OK
SBG2 : Destroyed
SBG3 : UPS Down - Check server still in progress
SBG4 : No physical impact

No restart today for SBG1,SBG3 and SBG4

Plan for the next 2 weeks:
1)Rebuilding 20KV for SBG3
2)Rebuilding 240V in SBG1/SBG4
3)Verifying DWDM/routers/switchs in the network room A (SBG1).
Checking the fibers Paris/Frankfurt
4)Rebuilding the network room B (SBG5) cheking fiber Paris/Frankfurt
----------------------

Es decir, no tienen ahora mismo ni instalación eléctrica y la prioridad es evitar nuevos daños y restaurar energía y conexiones.
Si tienes los datos en SBG2 como yo, olvídate que esté disponible a corto plazo (semanas). No han mencionado que disponen de datos replicados en otros datacenters en ningún momento, y es lo primero que se haría de ser así...

Resumen: nadie sabe cómo ha pasado esto, los usuarios están pidiendo que se restablezca el servicio ya, y los técnicos allí seguramente estarán recorriendo a oscuras pasillos llenos de agua, escombros, humo y materiales fundidos que difícilmente se asemejarán a un disco duro o un router.

I

#140 Acaban de colgar un FAQ con todas esas preguntas
https://help.ovhcloud.com/es-es/faq/strasbourg-fire/

llorencs

#20 Puedes ampliar eso del "Disparo del halón" Y de donde salieron del edificio, planta?...

La verdad que mi conocimiento sobre centros de datos es nulo.

UNOMAS83

Dos de mis estudiantes de doctorado tienen sus datos allí... No sabemos si se han perdido.

c

#46 Se puede ver por el panel de control, aunque de memoria no recuerdo donde

D

Se ha visto a este individuo dejando unas Raspberry's Pi conectadas a la red...

Jesulisto

#1 lo mismo me ha pasado a mi. Salvados de milagro.

¡Viva Gravelines!

MarcoAu56023650

#36 Sastamente

AlexVixgeck

#46 En el Manager de OVH te tiene que venir, al clicar en la info de tu VPS/Servidor dedicado.

AlexVixgeck

#82 Me lo imagino, ahora mismo todo dios tiene que estar entrando en el manager y estará colapsado

l

#85 Jajaja, no tengo copia por supuesto

W

#1 Joder, yo lo acabo de leer ahora y me ha dado un vuelco el corazón. Tengo 3 VPS con infinidad de cosas montadas y, por un momento, me he temido lo peor (aunque ya le extrañaba que no me hubiera llamado nadie). He entrado a comprobarlo y los 3 están en GRA. 😰

1 2