Portada
Hace 7 años | Por ccguy a theregister.co.uk
Publicado hace 7 años por ccguy a theregister.co.uk
Gitlab.com fundido por borrar un directorio incorrecto, los backups fallan [ENG]

Gitlab.com fundido por borrar un directorio incorrecto, los backups fallan [ENG]

 theregister.co.uk

Gitlab.com, una empresa de gestión de código fuente, ha perdido datos de producción. Un administrador cansado ejecutó un rm -rf sobre un directorio incorrecto que contenía 300 GB. Cuando se dio cuenta sólo quedaban 4.5 GB de datos. Los sistemas de backups que tienen no estaban probados y no han servido para nada. Se están recuperando los datos de un snapshot con algunas horas de antigüedad que además no es completo. La pérdida afecta a la base de datos (incidencias y merge requests) pero no a los repositorios.

Etiquetas

DE3C548D-E347-406A-A60F-E6BBD322CAB7 6.2k 264

Comentarios

Unregistered

rm -rf *

¿Qué podría salir mal?

V 77
K 532
Azucena1980

Que entradilla más fashion.

V 1
K 10
D

clap

V 0
K 9
TiJamásLlevaTilde

#2 Si esto lo lee mi madre, se queda igual no, peor.

V 3
K 34
A

Eso en la nube no hubiera pasado

V 26
K 168
D

No entiendo casi nada pero suena a marronazo gordo

V 7
K 60
Robus

#1 Da para camiseta!

V 9
K 75
alfgpl

Me da que si ejecutas rm -rf, a poco que lleves un tiempito administrando, no lo haces sin querer.

V 2
K 34
D

#6 Para no entender lo has pillado bien

V 6
K 49
D

docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub

Via reddit. Es una cagada de proporciones industriales ..

V 5
K 57
D

#9 Es un monton de mierda que huele desde aquí.

V 0
K 12
alejojo

del google doc:

2017/01/31 23:00-ish
YP thinks that perhaps pg_basebackup is being super pedantic about there being an empty data directory, decides to remove the directory. After a second or two he notices he ran it on db1.cluster.gitlab.com, instead of db2.cluster.gitlab.com
2017/01/31 23:27 YP - terminates the removal, but it’s too late. Of around 310 GB only about 4.5 GB is left - Slack

V 15
K 126
anxosan
editado

#8 Eso pienso yo; no me puedo creer que un Administrador introduzca "por error" una instrucción que sabe que lo va a borrar todo; aquí alguien no está contándolo todo.

Edito. La explicación que señala #12 ya tiene más sentido. Los nombres de los directorios eran muy semejantes, pero aún así el fallo es de cuidado.

V 4
K 55
Closmick

#12 este no encuentra otro trabajo en su vida.

V 1
K 18
D

Consecuencias para los que tenemos repositorios?

V 1
K 18
e

Por suerte gracias a git, cualquiera que tenga copia del repositorio puede restaurarlo.

V 3
K 40
D

#16 Lo malo es que no fueron los repos lo que se perdió.

V 3
K 26
D

#7 eso parece: http://bfy.tw/9ozc

V 1
K 7
e

#12 Las claves de acceso deberían ser distintas las de prod que dev/pprod y a prod, solo deberías poder realizar tareas automatizadas y si pasa algo, entras manualmente a la maquina a la maquina.

V 6
K 45
Howard

Bueno, pues seré yo el primero en preguntarlo: ¿esta mierda por qué es relevante?

V 10
K -28
D

#20 Porque afecta a desarrollo de software de diferente indole. Sin saber a cuantos usuarios y de que clase (si son empresas o particulares) la perdida de información, por pequeña que sea, puede causar desde retrasos a grandes extragos que solo pueden solventarse con horas y horas de analisis. A nivel comercial puede hacerte perder la carrera con otro producto por ejemplo. O que tuvises una presentación preparada y no puedas cumplir debidamente o a saber. Es un problema que puede deribar en otros muchos.

V 30
K 193
mr_b

#15 Los repositorios están intactos (y las wikis, que también están en git). El problema es la información adicional que se guarda en la base de datos, como pull requests, comentarios, etc.

V 4
K 40
Howard

#21 Gracias

V 1
K 10
Cantro

#18

lol

V 7
K 69
mmm_

#19 A la máquina a la máquina a la máquina.

V 13
K 105
mmm_

#21 Te perdono las tildes pero ese "deribar" duele.

V 12
K 83
D

#26 Ya no me deja editar

V 0
K 7
TocTocToc
editado

#1 ¡Eso le pasa por no usar la papelera de reciclaje!

comment_21153179 media
V 8
K 74
dulaman

#26 Yo me quedé en los "extragos"

V 9
K 84
b

#6

Pongamos un poco de música a la situación.

V 7
K 69
n

#1 A cualquiera se le olvida el punto en un sudo rm -rf ./

V 4
K 47
D

Y el "administrador cansado" ... ¿ya está más descansado?

V 1
K 19
n

#8 Yo tuve una cagada similar en un servidor de desarrollo hace años sudo rm -rf /

V 2
K 28
D

No olvidéis poner el "where" en vuestros "delete from":

V 13
K 99
Nandove

Demasiado poco nos pasa a los sysadmin... el día que nos organicemos, paramos el mundo de verdad, y a vivir como mad max pero matando lusers! VIVA WARDOG!

V 8
K 67
Thelion

#26 Hace extragos.

V 1
K 14
natrix

¿De verdad hay gente que mete sus proyectos en la nube y no se guarda una copia?

V 4
K 44
Unregistered
editado

#28 Calla calla, que muchas veces hago Mayus + Supr para "Eliminar definitivamente" (sí, soy de Güindous) y más de una vez me colé, una vez borré la carpeta de películas completita

V 10
K 97
BiRDo

#21 derivar

V 1
K 13
D

#39 Por que me corrijais 7 veces no lo voy a poder editar lol. Ya se pasó el tiempo.

V 0
K 7
D

#19 se le pide al máquina que mire la máquina a ver si máquina.

V 3
K 24
nemesisreptante

Por favor todos los que hayais ido de vacaciones a Gitlab mandad todas las fotos que sacasteís. Necesitaremos toda la ayuda posible para recuperar los datos.

V 3
K 29
a

Para que luego digan que los admin no tenemos responsabilidad. Te puedes cargar de una sentada millones se horas se trabajo.

V 1
K 16
m
editado

#30: Y con error de inconsistencia.

V 2
K 31
D

#14 En EEUU puede que no pero en España seguro que se lo rifan muchos polí...

Ya, ya, ya me lo cojo yo:

V 1
K 21
mefistófeles

Debe ser una putada nivel épico, pero me he quedado obsoleto y ya no entiendo la terminología informática, aunque me ha parecido entender, en román paladín, que ha borrado lo que no debía borrar y las copias seguridad no funcionaron.

Pero cucha, que el no comprender la terminología y no estar seguro de qué dice la noticia, no es óbice o valladar para que un digno meneante haga comentarios como si supiera de qué estoy hablando

V 2
K 25
D

Me quedo con las jetas de los inutiles de la foto del artículo.
Se les ve la gota de sudor bajando por la frente ante un despido inminente, por jaberla cagado.

V 4
K -13
D

#1 Fuera coñas a mi me pasó una vez cuando se me coló un espacio donde no debía (por las prisas escribiendo):

rm -rf / home/user/folder

el espacio entre la / y el home hace que primero borre todo y luego intente borrar el subdirectorio home/user/folder...

V 51
K 313
Black_Diamond

Don't drink and root.

V 2
K 29
P

#38 Yo lo hice una vez con "Archivos de programa", quería entrar dentro para borrar uno a mano pero se me fue la pinza y le di antes de entrar. Por suerte entre que calculaba y empezaba me di cuenta y no hubo grandes daños lol

V 2
K 28
e
editado

Hombre, son un poco cutres también. En cualquier servidor guarro tienen backups, que estas cosas pasan. Que no están borrando el portátil de su casa.
Ah vale , pone que los backups no funcionaron. Pues la cagada es esa no el borrado accidental. Lo grave es que el backup no funcione, por que podría haber sido peor. Al que se le debería caer el pelo es al del backup no al que borro.

V 11
K 76
Candidatas
16
meneos
tecnología En Canadá dejan a los presos comprar en Amazon. En España viven como hace 40 años
23
meneos
tecnología Irlanda propone un peaje a los desplazamientos en coche eléctrico
19
meneos
tecnología De negar el COVID al Falcon: así trabaja la factoría de bulos que surte de munición a la extrema derecha
17
meneos
tecnología PiServer con Docker ¿Qué es Docker? Ventajas, componentes, tipos de Dockers e instalación
9
meneos
tecnología Las razones históricas por las que el navegador Firefox se llama Firefox, tras algunos estropicios (ENG)
8
meneos
tecnología Optimus, el robot de Tesla, se venderá a fines de 2025: ¿qué podrá hacer y cuánto costará?
14
meneos
tecnología Bitwarden lanza su propia aplicación Authenticator gratuita y de código abierto [ENG]
9
meneos
tecnología El espejo primario de Vera Rubin obtiene su primer revestimiento reflectante
9
meneos
tecnología Las ventas de coches electrificados siguen sin avanzar
9
meneos
tecnología Satélite encontrado después de 25 años perdido en el espacio
8
meneos
tecnología Spotify HiFi: una filtración detalla el plan de audio sin pérdidas
7
meneos
tecnología El Rabbit R1 es solo una app Android en un hardware muy caro
21
meneos
tecnología Detectan vulnerabilidad crítica en GNU C Library con 24 años de antigüedad
8
meneos
tecnología Palas de madera para reverdecer la industria eólica
5
meneos
tecnología Para lidiar con la IA generativa, hay que convertirla en un problema público
8
meneos
tecnología Firefox al gusto
6
meneos
tecnología Cuatro meses de cárcel para Changpeng Zhao, fundador del mercado de criptomonedas Binance
7
meneos
tecnología ¿Una sola carga a la semana? Los nuevos coches eléctricos ya lo permiten
7
meneos
tecnología Google abre un formulario para quejarse sobre los resultados de búsqueda
44
meneos
tecnología Seguimiento mayoritario en la huelga de las multinacionales DXC y Accenture
TocTocToc

#38 Eso te pasa porque no habrás vivido épocas pasadas. La papelera de reciclaje fue una bendición que igual no valoráis bien.

V 2
K 20
m
editado

#20: Tu imagínate que eres arquitecto en 1960, y de repente el conserje decide "limpiar un poco" y tirar a la basura todos los papeles de la oficina, vas a por ellos al contenedor pero ya pasó el camión de la basura.

Pues esa es la que han mangado. Te recomiendo la canción "No te olvides de poner en WHERE en el DELETE FROM" para que lo entiendas mejor.

V 6
K 50
D

#29 Si nos vamos a poner puntillosos las oraciones terminan con un "." por norma general, no con un emoticono lol

PD: Es solo por tontear, acepto las correciones

V 3
K 36
Pezzonovante

Vamos, que "la ha liao parda"

V 2
K 26
D

Mariano rajoy habrá apuntado el código para un amigo ?

V 0
K 7
P

#14 El error humano es normal y puede pasarle a cualquiera. Lo que no tiene razón de ser es que no hubieran testeado nunca el sistema de backups wall wall wall

V 54
K 330
b

#35 Que de tiempo sin actualizar lleva el tio.
Y me quedé con las ganas de leer el final de un nuevo mundo.

V 3
K 23
reithor

Ignatius J Reilly seal of approval.

V 1
K 14
D

#48 Wow... qué putadón.

V 3
K 23
TocTocToc

#26 #27 Las prisas al escribir causan a veces extragos.

V 4
K 47
D

Tomo nota de esta 'graciosa anécdota' para exponérsela al próximo amigo o conocido que me recomiende ciegamente la subida y almacenamiento de todos mis archivos en 'la nube'.

V 1
K 9
Howard

#53 ¿Pero solo 300 GB? ¿Quién guarda su información ahí? ¿Obama?

V 1
K 18
cybervirtualman

#34 el ser humano es extraordinario.

V 0
K 7
chemari

#40 "índole" lleva tilde

V 1
K 20
D

#61 No te creas que son las prisas, asumo mi parte de culpa. Esa se me ha escapado sin prisas.

V 0
K 7
D
editado

#65 y análisis lol

editado:
Y pérdida, si hay unas pocas.

V 1
K 17
chemari
editado

Vamos, que mas les vale a todos los empleados de esta empresa ir actualizando su perfil de infojobs...

V 0
K 10
Aokromes

#51 de nada sirve un backup si no compruebas que esta bien hecho lol

V 0
K 8
Aokromes

Tengo un repositorio en gitlab, desde las 12 de la noche intentando mandar un push, veo que esta en mantenimiento, espero media hora, sigue en mantenimiento, recargo la web en algun momento de la noche, veo la cagada, menos mal que tickets y PRs tengo pocas lol

V 2
K 26
e

#62 las veces que se pierden datos en la nube comparadas con las que se pierden en un ordenador personal deben ser 1 a mil. No pondría algo que no quiero que se borre en un pendrive o un disco duro de mi casa.

V 0
K 7
e
editado

#69 sí sí. Pero la cagada es esa.

V 0
K 7
r

#19 Salvo que se usen claves de ssh... sin password (que los hay... y muchos... roll )

V 0
K 9
r

#12 Culpa de Linux por ser tan rápido! si hubiera tardado más, como otros SO, se hubieran perdido menos cosas...

V 4
K 41
Unregistered

#52 Empecé con MS-DOS, como sabes las capacidades de los discos duros siempre era muy limitada (de aquella), creo que la 'Papelera de reciclaje' apareció con W95 y juraría que de aquella tenía un disco duro de unos 800 Mb, vamos que con 3 o 4 CDs ripeados en MP3 ya tenía petao el disco duro, y la manía ya me quedó desde aquella lol

V 1
K 28
Neochange

#1 Diselo al que lo ejecutó que debe estar en su casa

V 1
K 16
r

La pesadilla de cualquier sysadmin... estar cansado y darle al enter luego de cualquier "rm ..."

V 0
K 9
D

Y yo a punto de pagar por tener Github... y ahora investigando GitLab (que no conocía) veo que Bitbucket tiene repos privados gratis también.

¿Alguna recomendación? El único problema es que necesitamos GitLFS para subir assets gráficos MUY pesados.

(Aunque ver que GitLab tiene tan poca seguridad me escama muchísimo)

V 1
K 15
D

Voy a hacer un clone de mis repositorios relevantes. Son de Github, pero estas cosas lo acojonan a uno.

V 2
K 6
frg

#8 Nop, pero puedes haber realizado un mierdascript en dos minutos, en el que se cuela un "/" en los parámetros, y dejas la máquina pelada.

Suerte que los backups eran "de verdad", no como los de la noticia, mágicos lol

V 1
K 18
frg

#14 Solo el que toca puede equivocarse.

V 2
K 17
s

#38 https://www.piriform.com/recuva

V 1
K 15
p

Yo hice una vez "rm -rf http://". Vivía en la Atlántida en aquel momento.

V 2
K 29
PacoJones

No me gustaría estar ahora mismo en esa oficina.

V 1
K 18
TocTocToc
editado

#66 Puede que tengas algo de lisdexia.

V 1
K 25
mmm_

#61 También, también.

V 0
K 8
pitercio
editado

#c-48" class="content-link" style="color: rgb(227, 86, 20)" data-toggle="popover" data-popover-type="comment" data-popover-url="/tooltip/comment/2729433/order/48">#48 Mal de muchos... conozco a uno que hizo algo parecido, desde la / ejecutó # rm -Rf . /ruta/completa/copiada/y/pegada/para/no/equivocarse

V 0
K 16
TocTocToc
editado

#75 ¿Empezaste ya con discos duros? Qué suerte, yo empecé con una sola disquetera de 5 1/4. Bueno, en realidad antes con una cinta de casete...

Aún no había salido ni el MS-UNO .

V 3
K 29
l

#81 Con esa frase seguro que ligas un montón.. lol

V 0
K 6
D
editado

#85 No creo, nunca he tenido problemas relacionados con eso, simplemente no presto mucha atención ni le dedico el esfuerzo que debería para corregirme como es debido (no estoy orgulloso de ello, es solo por aclararlo). No se por qué he adquirido esa forma de escribir, pero es más dejadez que un problema.

V 0
K 7
frg

#53 No hace falta estar en 1960. Estube en una empresa de alarmas y sistemas de seguridad, que para pasar una ISO, llevó todos sus planos y carpetas de proyecto de papel a un almacén, ... Y hasta aquí puedo leer. No logramos recuperar nada, porque nadie sabe a que almacén se llevó, si se destuyó, o si se perdieron por el camino.

V 5
K 43
mmm_

#58 Pues compra el libro, que ahí viene.

V 1
K 14
D
editado

#21 Tú no serás bombero, no?

V 5
K 52
M

#82 Con ese programa si lo acabas de borrar tienes un 99.9% de probabilidades de poder recuperarlo todo.

V 0
K 9
angelitoMagno

#28 Fuera de coñas, cuando estudié sistemas operativos una de las prácticas que tuvimos hacer fue crear un sustituto para rm que en vez de borrar enviara a una unidad que funcionase como "papelera de reciclaje"

Es para pensarlo. Que en entornos críticos un rm no borre, sino que mueva a una unidad externa a modo "papelera".

V 2
K 19
D

A great power comes with a great responsibility. Think before you type.

V 1
K 12
angelitoMagno

#20 Aquí hay muchos informáticos y hacer un "rm -rf" en el sitio equivocado es nuestra segunda mayor pesadilla.
La mayor pesadilla es la que describe este vídeo:

V 2
K 34
D

#4 Ella diría: "¿A que voy yo y los encuentro?" Y de repente, sin que nadie sepa como, backups recuperados.

V 8
K 69
sorrillo
editado

#8 A poco que lleves un tiempito administrando sabes que es la forma más sencilla de borrar una serie de archivos y/o carpetas sin tener que ir uno por uno y/o tener que repetir comandos por que una carpeta no está vacía u otros motivos.

Que sí, que es arriesgado y puedes cagarla mucho pero también es desesperante responder a los errores que van saliendo cuando quieres borrar el contenido y el comando no es suficientemente agresivo para ello.

Y como indican en un script es aún más fácil cometer ese tipo de errores, una variable mal inicializada o con una "/" de más y el destrozo es monumental.

El error es el que es, lo que sí es una negligencia muy grave es tener unas copias de seguridad sin comprobar de forma periódica que se pueden restaurar.

V 1
K 21
H

#78 Si eres universitario tienes 2 años gratis de Github pro. Si no lo eres, puedes usar bitbucket para repos privados y github para los públicos.

V 1
K 13
1 2 3