Un vistazo al robots.txt de la SGAE

  1. #15   #1,#2,#12, el robots.txt es un fichero público con el que informar a los robots de internet lo que quieres o no quieres que indexen de tu página web. No han hackeado nada pues es de acceso público y además lo utilizan mal, como dice #14 (te adelantaste..)

    Para más información
    support.google.com/webmasters/bin/answer.py?hl=es&answer=156449
    votos: 9    karma: 84
     *   saraguato saraguato
  1. #22   El fichero robots.txt sólo evita que el 'googlebot' y similares escaneen las páginas o directorios mencionados, pero no evita su indexación si alguien (incluído Google) ha visitado ya la página antes. Vamos, que lo que han hecho es una chapuza impresionante, como dice #14.

    Por ejemplo, el enlace que aparece en el robots.txt "a no indexar"

    www.sgae.es/?SGAE=LADRONES=MONOPOLIO

    Está indexado, porque hay otras páginas que hacen referencia a ésta (está explicado por google en el enlace de #15).
    votos: 4    karma: 34
     *   gaia26 gaia26
comentarios cerrados

menéame