#12 Esto ¿que es? ¿Hackeado o que han puesto ese archivo para que no salga la web de la SGAE al buscar eso? Es que de informática y estas cosas no sé nada.
#14#2#12#13 en realidad no.
El archivo robots.txt lo que se encarga es de decirle a los bots que archivos del propio sitio web - en este caso sgae.es - no quiere que indexe. Por ejemplo Disallow:/?SGAE=LADRONES=MONOPOLIO significa: no indexes sgae.es/?SGAE=LADRONES=MONOPOLIO
básicamente los de la SGAE no entendieron nada. En vez de arreglar su buscador para que no les hicieran cross scripting hicieron esta chapuza del robots.
#15#1,#2,#12, el robots.txt es un fichero público con el que informar a los robots de internet lo que quieres o no quieres que indexen de tu página web. No han hackeado nada pues es de acceso público y además lo utilizan mal, como dice #14 (te adelantaste..)