El robots.txt es un archivo que indica a los robots de los buscadores los límites a la hora de rastrear las páginas de un site.

Los robots que visitan las páginas web están programados para buscar el archivo robots.txt de una web antes rastrearla, verifican que existe dicho archivo y cuáles son las páginas que tiene restringidas.

seo site

Google recomienda hacer un uso efectivo del robots.txt y restringir los accesos al rastreador allí donde no sea necesario. Si tienes, por ejemplo, páginas que no van a ser útiles a los usuarios en los resultados de búsqueda o páginas con contenido confidencial que no quieres que se indexe.

seo link building

Recuerda que el robots.txt:

1. Se ubica en el directorio raíz del site
2. Puedes crearlo con el generador de robots.txt desde la webmasters tools
3. Si se trata de material confidencial el robots.txt no es suficiente. Se trata sólo deuna recomendación, no de una obligación y podrían mostrar las url en losresultados de búsqueda.
4. Si no tienes ninguna restricción no es necesario que lo uses, ni siquiera vacio.
5. Puedes complementar su restricción añadiendo la metaetiqueta “noindex”

joomla seo