#22 El fichero robots.txt sólo evita que el 'googlebot' y similares escaneen las páginas o directorios mencionados, pero no evita su indexación si alguien (incluído Google) ha visitado ya la página antes. Vamos, que lo que han hecho es una chapuza impresionante, como dice #14.
Por ejemplo, el enlace que aparece en el robots.txt "a no indexar"
Por ejemplo, el enlace que aparece en el robots.txt "a no indexar"
www.sgae.es/?SGAE=LADRONES=MONOPOLIO
Está indexado, porque hay otras páginas que hacen referencia a ésta (está explicado por google en el enlace de #15).