La Web Oculta es la parte de Web que queda “al otro lado” de las barreras de rastreo, y que los buscadores no pueden rastrear ni indexar. Puesto que los buscadores son los grandes canalizadores de tráfico, pertenecer a la Web Oculta es sinónimo de no poder disfrutar de tráfico directo procedente de los buscadores, lo cual significa, en la mayoría de los casos, de no poder disfrutar de tráfico.
Sitemap o Mapa del Web es un concepto con una doble acepción. Tradicionalmente se trataba de una página HTML más de un sitio Web en la que se recogía la estructura principal del sitio con enlaces a las diferentes secciones. En tiempos más recientes, se usa el término sitemap para referirse a un fichero en formato XML generado para los buscadores. Contiene información sobre las páginas disponibles y frecuencia de actualización de sus contenidos. Por un lado, los sitemaps XML son de inestimable ayuda para salvar problemas de barreras de rastreo y Web oculta. Por otro, los sitemaps HTML están concebidos más como ayuda al usuario humano de un sitio Web, aunque, correctamente implementados, también pueden servir de ayuda a los buscadores para facilitar el rastreo e indexación de páginas.
El robots.txt es un fichero que suele estar disponible en la raíz de un sitio Web (es decir, http://miWebsite/robots.txt). Se trata de un fichero que las arañas de los buscadores piden antes de descargar ninguna página de un sitio Web. En el fichero robots.txt se pueden especificar qué páginas y/o directorios se pueden o no indexar en los buscadores. El fichero robots.txt suele utilizarse con diferentes propósitos: • Para evitar que cierta información sensible esté indexada en los buscadores.
• Para evitar que información poco útil se indexe y concentrar la actividad del buscador sobre las páginas más importantes
• Para especificar la ruta del sitemap XML
Muchos sitios Web no disponen de robots.txt. En tal caso, los buscadores asumen que el propietario de dicho sitio no impone ningún tipo de reglas al rastreo e indexación
A continuación se incluye un ejemplo de robots.txt: incluye una referencia al sitemap del sitio Web e indica a los robots que no deben indexar el /admin.php ni nada del directorio /admin.
User-agent: * Disallow: /admin.php Disallow: /admin/ Sitemap: http://misitio.com/sitemap
#SEO en Puerto Vallarta #Agencia de posicionamiento web en puerto Vallarta
Cuando alguien me pide recomendaciones para comprar un robot aspirador —es uno de los productos…
Envías un mensaje por WhatsApp a un compañero de trabajo con un contenido importante. El…
El postparto es una etapa complicadísima para la mujer: a todos los retos que tenemos…
Es posible que si habitualmente visitas páginas de viajes para descubrir qué puntos de interés…
Llevar el control de mi sueño y buscar el modo de descansar mejor siempre ha…
El verano es el momento favorito de los españoles para ir de vacaciones, según Statista.…