Los robots.txt son importantes en tu sitio web, ya que son el primer archivo que las arañas de los buscadores encuentran en ellos específicas que directorio o archivo no quieres que sea rastreable o si quieres que todo tu contenido se pueda acceder y ser indexable por los buscadores, por ejemplo si tu sitio web contiene desarrollo en php y contralas el ingreso de usuarios y acceso a la base de datos, no querrás que esas carpetas o archivos sean encontrables por buscadores.
Para crear un archivo robots.txt: solo debes abrir el bloc de notas y debe escribir lo siguiente y guardarlo así, robots.txt, en el directorio raíz donde se encuentra alojado tu Sitio Web:
User-agent: *
Disallow:
Explicación:
User-agent: se usa para especificar que arañas pueden rastrear el contenido. * : significa que pueden acceder todos. Disallow: Indica que pueden o no rastrear. / : todo el site. / nombre_directorio_o_archico/ : una carpeta en concreto y todas las paginas, imágenes, archivos que estén dentro.
