#14#2#12#13 en realidad no.
El archivo robots.txt lo que se encarga es de decirle a los bots que archivos del propio sitio web - en este caso sgae.es - no quiere que indexe. Por ejemplo Disallow:/?SGAE=LADRONES=MONOPOLIO significa: no indexes sgae.es/?SGAE=LADRONES=MONOPOLIO
básicamente los de la SGAE no entendieron nada. En vez de arreglar su buscador para que no les hicieran cross scripting hicieron esta chapuza del robots.
#12 Esto ¿que es? ¿Hackeado o que han puesto ese archivo para que no salga la web de la SGAE al buscar eso? Es que de informática y estas cosas no sé nada.
#1 Son las búsquedas por la que no quieren aparecer en los navegadores.
El archivo robots.txt lo que se encarga es de decirle a los bots que archivos del propio sitio web - en este caso sgae.es - no quiere que indexe. Por ejemplo Disallow:/?SGAE=LADRONES=MONOPOLIO significa: no indexes sgae.es/?SGAE=LADRONES=MONOPOLIO
básicamente los de la SGAE no entendieron nada. En vez de arreglar su buscador para que no les hicieran cross scripting hicieron esta chapuza del robots.
¿Habrán pagado por el CD de wordpress?
Los autores de wordpress se mueren de hambre con tanta descarga
Disallow:/documentos-muy-secretos/
en el robots.txt, no vaya a ser que la gente se entere de que existe, y nos caiga una bronca...
#24 lo que tenga que estar oculto no estará accesible públicamente por lo que los robots de google no lo pueden ni ver así que da igual.
No subestimes el poder de Google...
1. Uno de la SGAE está mirando un documento ultrasecreto en su navegador, ubicado en www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
2. En un momento dado, se va a sus marcadores, y pincha en cualquier dirección que quiera consultar, por ejemplo: www.foroblanqueo.ky . Y resulta que ese servidor guarda los logs de los accesos web y genera automáticamente las estadísticas en un dirección de consulta "típica", por ejemplo, www.foroblanqueo.ky/stats o www.foroblanqueo.ky/aw-stats
3. Google indexa esa dirección y, escaneando los datos, resulta que en las estadísticas sale que hubo una visita a www.foroblanqueo.ky que entró (HTTP_REFERER) desde la dirección www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf
4. En su afán de dominar el mundo, Google indexa todos los enlaces que encuentra visitándolos y escaneando lo que contienen, incluyendo www.sgae.es/documentos-muy-secretos/cuentas_en_suiza_de_teddy.pdf que nadie debería de saber que existe
5. Un día cualquiera no sabes qué hora es, y tecleas "teddy cuentas suiza" en el buscador de Google.
6. Envías el enlace a meneame y se lía parda.
Algo así pasó con un proxy de una universidad española, que guardaba los datos de las direcciones visitadas públicamente y accesibles vía web.