Un archivo robots.txt es un archivo de texto que se utiliza para decirle a los rastreadores de los motores de búsqueda qué URL del sitio web pueden o no rastrear. Es decir, sirve para especificar qué partes del sitio web deben ser indexadas y cuáles ignoradas por los buscadores, lo que puede ayudar a controlar la visibilidad de cierto contenido dentro de los resultados de búsqueda.
|
etiquetas: rastreador , indexador , buscador , indexar , google , bot , web 
