archivo que contiene las paginas que el navegador puede mostrar en el buscador:

https://hackersploit.org/robots.txt