Un vistazo al robots.txt de la SGAE

  1. #24   #9 Yo he mirado un par y nada interesante :-P Supongo que los usarán para pruebas o algo, lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual. Habrá que hacer un script que baje la página cada x minutos y si detecta cambios avise para ver para qué sirven esas urls :-P
    7  votos: 0   link
    el 27-12-2012 18:42 UTC por Kherom Kherom
     twitter  facebook  tuenti  
  1. #36   #9 Oye Manolo, no olvides de poner

    Disallow:/documentos-muy-secretos/

    en el robots.txt, no vaya a ser que la gente se entere de que existe, y nos caiga una bronca...


    o_o

    #24 lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual.

    No subestimes el poder de Google...

    1. Uno de la SGAE está mirando un documento ultrasecreto en su navegador, ubicado en www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
    2. En un momento dado, se va a sus marcadores, y pincha en cualquier dirección que quiera consultar, por ejemplo: www.foroblanqueo.ky . Y resulta que ese servidor guarda los logs de los accesos web y genera automáticamente las estadísticas en un dirección de consulta "típica", por ejemplo, www.foroblanqueo.ky/stats o www.foroblanqueo.ky/aw-stats
    3. Google indexa esa dirección y, escaneando los datos, resulta que en las estadísticas sale que hubo una visita a www.foroblanqueo.ky que entró (HTTP_REFERER) desde la dirección www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
    4. En su afán de dominar el mundo, Google indexa todos los enlaces que encuentra visitándolos y escaneando lo que contienen, incluyendo www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf que nadie debería de saber que existe
    5. Un día cualquiera no sabes qué hora es, y tecleas "teddy cuentas suiza" en el buscador de Google.
    6. Envías el enlace a meneame y se lía parda.

    :-D

    Algo así pasó con un proxy de una universidad española, que guardaba los datos de las direcciones visitadas públicamente y accesibles vía web.
    119  votos: 13   link
    el 27-12-2012 19:36 UTC por devotee devotee
comentarios cerrados

menéame