Un vistazo al robots.txt de la SGAE

  1. #9   Que levante la mano el que haya ido a ver lo que hay en los directorios "no tocar" xD
    votos: 24    karma: 217
     *   mandelbr0t mandelbr0t
  1. #10   #9 o/
    votos: 6    karma: 73
  2. #24   #9 Yo he mirado un par y nada interesante :-P Supongo que los usarán para pruebas o algo, lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual. Habrá que hacer un script que baje la página cada x minutos y si detecta cambios avise para ver para qué sirven esas urls :-P
    votos: 0    karma: 7
    1. #36   #9 Oye Manolo, no olvides de poner

      Disallow:/documentos-muy-secretos/

      en el robots.txt, no vaya a ser que la gente se entere de que existe, y nos caiga una bronca...


      o_o

      #24 lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual.

      No subestimes el poder de Google...

      1. Uno de la SGAE está mirando un documento ultrasecreto en su navegador, ubicado en www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
      2. En un momento dado, se va a sus marcadores, y pincha en cualquier dirección que quiera consultar, por ejemplo: www.foroblanqueo.ky . Y resulta que ese servidor guarda los logs de los accesos web y genera automáticamente las estadísticas en un dirección de consulta "típica", por ejemplo, www.foroblanqueo.ky/stats o www.foroblanqueo.ky/aw-stats
      3. Google indexa esa dirección y, escaneando los datos, resulta que en las estadísticas sale que hubo una visita a www.foroblanqueo.ky que entró (HTTP_REFERER) desde la dirección www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
      4. En su afán de dominar el mundo, Google indexa todos los enlaces que encuentra visitándolos y escaneando lo que contienen, incluyendo www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf que nadie debería de saber que existe
      5. Un día cualquiera no sabes qué hora es, y tecleas "teddy cuentas suiza" en el buscador de Google.
      6. Envías el enlace a meneame y se lía parda.

      :-D

      Algo así pasó con un proxy de una universidad española, que guardaba los datos de las direcciones visitadas públicamente y accesibles vía web.
      votos: 13    karma: 119
      1. #46   #36 Pero eso es por que los datos eran públicos, no así los links. Si quieres ocultar algo no lo haces accesible de forma pública confiando en que nadie va a conocer el enlace :-P
        votos: 1    karma: 16
      2. #49   #36 No me hagas mucho caso, pero cuando entras a un sitio desde marcadores el HTTP_REFERER no se envía. Otra cosa seria que el documento ultra secreto incluyese un enlace a google.com, y ahi se enviase tal dirección. A partir de ahi a saber lo que hace google con sus peticiones.
        votos: 3    karma: 33
    comentarios cerrados

    menéame