Paginas Web Cali
INGYNET COLOMBIA

Páginas Web Colombia

robots.txt que utilidad tienen, su funcionamiento

Como crear el archivo robots.txt



Los robots.txt son importantes en tu sitio web, ya que son el primer archivo que las arañas de los buscadores encuentran en ellos específicas que directorio o archivo no quieres que sea rastreable o si quieres que todo tu contenido se pueda acceder y ser indexable por los buscadores, por ejemplo si tu sitio web contiene desarrollo en php y contralas el ingreso de usuarios y acceso a la base de datos, no querrás que esas carpetas o archivos sean encontrables por buscadores.

Para crear un archivo robots.txt: solo debes abrir el bloc de notas y debe escribir lo siguiente y guardarlo así, robots.txt, en el directorio raíz donde se encuentra alojado tu Sitio Web:

User-agent: *
Disallow:

Explicación:

User-agent: se usa para especificar que arañas pueden rastrear el contenido.
* : significa que pueden acceder todos.
Disallow: Indica que pueden o no rastrear.
/ : todo el site.
/ nombre_directorio_o_archico/ : una carpeta en concreto y todas las paginas, imágenes, archivos que estén dentro.

Para denegar el acceso seria como en el ejemplo:

User-agent: *
Disallow: pagina_a_denegar.php
Disallow: /carpeta_a_denegar/

Para denegar el rastreo completo del sitio seria:

User-agent: * (si fuera solo para una araña en concreto se cambiaría el * por el nombre de este)
Disallow: /

Bueno esa seria la forma, Espero les sea de Utilidad en sus proyectos.



Te ofrecemos Posicionamiento en Buscadores

Diseño de Paginas Web ideales para Posicionarse en Buscadores



Contactar a Carlos Quintero