@Adrian digamos que si es un google, quiero indexar las paginas que contienen algo en particular, por ejemplo RSS, es decir un bot que busque las paginas que tienen RSS y me las guarde (esque no se como explicar exactamente lo que quiero hacer y eso seria lo mas similar)