334 meneos
15384 clics

El insólito chaparrón que empapó los servidores de Facebook

Jay, ¡estoy viendo una nube en el centro de datos! ¿Qué quieres decir? ¿Fuera? No, no. ¡DENTRO del centro de datos! Con esta inusitada conversación telefónica entre el director técnico Jay Parikh y un empleado dio comienzo una crisis que casi se lleva por delante los servicios en nube de Facebook. Estaba lloviendo, literalmente, sobre los servidores de la compañía en Prineville, Oregon.
etiquetas: facebook, insolito, lluvia, servidor
usuarios: 183   anónimos: 151   negativos: 1  
34comentarios mnm karma: 607
  1. #1   de ahí viene el color azul de Facebook...
    votos: 2    karma: 32
     *   marcoschus marcoschus
  2. #3   normal... facebook está en la nube :-D
    votos: 7    karma: 71
  3. #4   #2 Depende del punto de rocío.
    Está un poco sobreactuado.
    En un CPD el clima está controlado tanto en temperatura como humedad. Si las máquinas de clima se les va la pinza empiezan a humedecer el aire y puede que, llegado el caso, se produzca condensación.
    es.wikipedia.org/wiki/Punto_de_roc%C3%ADo
    No es que llueva como lo vemos en la calle sino que se produce condensación o vapor nebuloso.
    Ahora bien, con 26º en un CPD es para ir cerrando servidores no críticos si o si y rezar al FSM por los críticos.


    Yo he sufrido una parada de las máquinas de clima en un CPD importante y hay un momento en que la temperatura sube por encima de un punto de casi "no-retorno" y empiezas a perder servidores como chinches por caida o cierre de seguridad de los mismos.
    Cada minuto que pasa te sube la temperatura 1 grado. Y no tienes tiempo de casi nada.
    Y eso que solo era temperatura.
    votos: 75    karma: 674
     *   Stash Stash
  4. #5   A medida que se acumula el porno en los servidores la humedad y el calor aumentan exponencialmente provocando descargas sobre los equipos, más en entornos cerrados. Lo sabe todo el mundo.
    votos: 3    karma: 36
     *   Gilbebo Gilbebo
  5. #6   #4 26 grados tampoco es tanto, los de google fijaron su temperatura objetivo en el pasillo frio a 26-27 grados y tan contentos ( aunque igual es porque sellaron el pasillo caliente y lo deben tener estudiado para que haya mucha convección natural).

    Igualmente, muchas veces hay puntos del CPD que concentran mas calor, y para refrigerar esos puntos a 25C acabas poniendo el resto a 21. Si tienes la posibilidad de mover los racks y/o los servidores ( y las ganas de aguantar el follon que se puede montar xD ) solo organizando bien puedes ganar unos grados, lo que a lo largo de un año es un pastizabal.
    votos: 8    karma: 93
  6. #7   #4 La verdad es que sí que es una situación tensa y difícil de describir, yo lo viví en un CPD de un banco en horario nocturno. De las tres máquinas de clima habían muerto dos y la tercera no daba abasto.

    El problema para nosotros no era dejar de dar servicio ya que era de madrugada y era lo que menos nos importaba, el problema es que teníamos que hacer una parada controlada de los servidores y nadie había hecho ninguna. Y cuando digo nadie no me refiero a nadie de los que estábamos ahí sino a nadie de nadie en ningún momento. No teníamos ni idea de si volverían a encender tras nuestra parada de emergencia.

    Otra parte jodida es que siendo del horario nocturno terminó nuestro turno con los servidores parados y tenías que irte a casa a dormir habiendo ya salido el Sol sin saber qué pasaría luego con los servidores.
    votos: 43    karma: 400
  7. #8   dio comienzo una crisis que casi se lleva por delante los servicios en nube de Facebook

    No caerá esa breva...
    votos: 5    karma: 53
  8. #9   #6 Cuando no tienes nada de refrigeración, no hay diseño de recirculación de aire, los pasillos son todos iguales y no hay frios o calientes y el CPD tiene más años que la torre del reloj, 26º son muchos grados xD xD xD Te lo aseguro.
    #7 A mi me pasó a las 11 de la mañana. xD xD xD xD
    votos: 4    karma: 51
  9. #10   #7 Cierto, reiniciar un servidor con un uptime de 500 siempre da miedo, reiniciar 4.000 servidores es un operata panik del 15
    votos: 8    karma: 94
  10. #11   #9 Ajaja, ¿ es uno de esos CPDs que empezaron como almacen y se transformaron en sala de máquinas de forma espontanea? Yo llegue a tener un rack en una cocina (en desuso, nada de capa de aceite xD , pero llegaba a los 35C en verano), y cuando pedí refrigeración se ofrecieron a comprar... un ventilador!

    #7 Siento tu dolor amigo,a un conocido no le dejaban aplicar parches ni a las maquinas de preproducción porque llevaban tanto tiempo instaladas que nadie sabia que hacer si petaban. Era proponerles reiniciar una de producción y ver como se quedaban blancos. xD
    votos: 5    karma: 59
  11. #12   #10 #11 Nosotros planificamos una parada de un rack que llevaba encendido la intemerata para moverlo de sitio. Como sería la cosa que se coordinó con el fabricante ya que las expectativas de perder algún disco duro al parar eran muy altas y se vinieron con recambios. Perdimos solo uno y el raid se reconstruyó correctamente, pero lo pasamos francamente...
    Hay discos que llevan años girando y si los paras, los matas.
    votos: 4    karma: 51
  12. #14   #13 Si quieres oír cosas mas emocionantes, sucias y violentas, espera a que empecemos a hablar de los usuarios...
    votos: 21    karma: 191
  13. #15   Eso es lo que se conoce como trabajar en la nube... literalmente :troll:
    votos: 4    karma: 47
     *   Belu84 Belu84
  14. #16   #2 si los servidores están en Pamplona no me extrañaría nada.
    votos: 3    karma: 38
  15. #17   La fuente original es algo más completa:

    www.theregister.co.uk/2013/06/08/facebook_cloud_versus_cloud/

    y mucho mucho más detallada (incluso con fotos de componentes con la condensación):

    www.opencompute.org/2011/11/17/learning-lessons-at-the-prineville-data
    votos: 7    karma: 87
     *   RubenC RubenC
  16. #19   Obviamente es un poco exagerado. Pero recuerdo haber estado en fiestas universitarias en los 90, dentro de garitos que se pasaban por el arco del triunfo las mas mínimas condiciones de seguridad en los que se juntaba un importante frío en el exterior con una disparatada humedad y calor en el interior, provocaba que te cayeran continuamente gotas de agua. Daba bastante asco, aunque fuera agua condensada todos sabíamos que ese agua en su anterior reencarnación era sudorazo.
    votos: 4    karma: 44
  17. #20   Dios tiene sentido del humor y ya sabemos quién es el diablo :-D
    votos: 1    karma: 18
  18. #21   Algo asi me paso cuando llevaba 1 mes currando en la ya extinta spanair... Agua por el suelo y todo porque nos habian cortado el agua y no funcionaban los aparatos que regulaban el clima. Encima yo estaba de noche y eran como las 3 de la mañana y me entere de todo porque nos llamaron de HP de que una de las cpu's se puso por encima de 50 °
    Que noche más entretenida pasé...
    votos: 1    karma: 20
  19. #22   #12 Cierto. Hace tiempo nos pidieron trasladar un pequeño CPD, con máquinas obsoletas, en camiones (a unos 50 Kms). Nos dieron una ventana de menos de 6 horas. Me negué. Al final lo migramos en tiempo real, sin parada: Nos tiramos más de 3 meses virtualizándolo todo en una SAN y replicándolo en asíncrono (FCoIP) al destino.

    Unos días después de la migración apagamos las máquinas originales y las volvimos a encender para ver como de realista era nuestro nivel de "paranoya". Cayeron fuentes de alimentación y discos como chinches...
    votos: 9    karma: 98
  20. #23   #19 en el último concierto de The Prodigy en la sala Riviera de Madrid ocurrió lo que tú comentas. Cuando terminó el concierto "llovía". No pasé tanto calor hasta el concierto de Iron Maiden en Valencia hace 2 años :-D
    votos: 1    karma: 17
  21. #24   #23 #19 yotambién he visto llover DENTRO de polideportivos, cuando el Madrid Arena no era ni arena de playa, y los equipos de extracción poco más que quimeras

    eso sip, las condiciones requieren 8.000 heavytrones enfervorizados, 100.000 watios de sonido , un poco más de luz y revolucionarlo todo durante horas
    votos: 3    karma: 37
     *   jainkone jainkone
  22. #25   Jeje. Soportar penurias los equipos de telecomunicaciones que hay en las estaciones base moviles (torres de telefonia) y que usan radioenlaces. Cableado comido por ratas, restos de desechos animales o de nidos, lluvia, calor extremo, heladas, etc etc. Eso si son equipos duros. Menos mal que se usa mucho la redundancia sino no tendriamos cobertura casi nunca.
    votos: 1    karma: 18
  23. #26   Yo estuve una vez en Prineville, lo juro. Paramos a comprar pan en una panadería mexicana (lo único que había abierto y eso que el dueño había sido padre esa madrugada) camino de las Painted Hills y el John Day Fossil Beds National Monument. Aquello es un secarral en toda regla, aunque el bosque de Ochoco lo suaviza un poco.
    Por cierto, que los servidores de Google están a unas cien millas al norte, en The Dalles, a la orilla del rio Columbia.

    Aquí Facebook en Prineville:
    archrecord.construction.com/news/daily/archives/2010/08/100804facebook

    Y aquí Google en The Dalles:
    www.panoramio.com/photo/27111050
    votos: 2    karma: 27
  24. #27   En los hangares donde se guardaban los zepelines ocurrían estos fenómenos también. (al menos eso me contaron)
    votos: 1    karma: 18
  25. #28   Si hubiera pasado en Meneame, el @grafeno demostraría ser mas absorbente que la gamuza vileda.
    votos: 0    karma: 8
  26. #29   #7 En Jurassic Park les funcionó. Bueno tuvieron que cargar a mano algunos interruptores pero si obviamos los problemas de los muertos y las persecuciones de dinosaurios hambrientos, funcionó.
    votos: 3    karma: 38
  27. #30   y mi jefe apagando la climatización ya que hay que ahorrar consumo eléctrico.....
    Eso si, luego llegan las facturitas de lis discos duros o o las llamadas de enemergencia, siempre en fin de semana caguentoloquesearrastra, y protesta.
    Esta el servidor, de normal, por unos 30 y pico, menos mal que esto es seco.
    votos: 1    karma: 21
  28. #31   #6

    Los máquinas siempre han funcionado a 27ºC sin problemas. El fallo ha sido siempre en el diseño de la circulación del aire, seguramente debido a que cuando se diseñaron inicialmente (si es que se llegó a diseñar y no era una almacén, una habitación o una cocina como dice #11) no había tantas máquinas como hay ahora, y menos con la densidad que tenemos (con un c-7000 de HP podemos meter 32 CPU Intel XEON echando calor como locas en solo 10 RU ... y en un rack caben cuatro de esos chasis si aguanta el peso)

    Tradicionalmente se recurría a la gente que se dedicaba a enfriar naves industriales y similares y su solución era ¿que hace calor? Pues más frío .... total, en un lado a 12ºC y en otros a casi 30ºC .... si fallaba un equipo de frío, toma freidora.

    Google lo que hace es recircular el aire de manera mucho más eficiente (de hecho, es el más eficiente en prácticamente todos los aspectos) con lo que aunque las CPU calienten, el aire caliente sale echando leches. No necesitas aire a 10ºC para enfriar una CPU, puede estar a 27ºC siempre que circule en cantidad suficiente. En zonas frías se puede usar aire exterior para hacer free cooling (no gastas nada en refrigerar) una gran parte del año, lo que es un gran ahorro (vale, hay que meter filtros, quitar humedad, .... pero eso es menos gasto que enfriar)
    votos: 5    karma: 54
  29. #32   #25 Aparte de ser equipos muy duros tienen la ventaja de tener normalmente solo el ventilador como elemento mecánico. En los servidores además tienes los discos duros :-)
    votos: 0    karma: 6
  30. #33   Están más interesantes los comentarios que la noticia en sí :-D
    votos: 2    karma: 25
     *   Marx Marx
  31. #34   Comparto lo de #33
    votos: 0    karma: 9
comentarios cerrados

menéame