La Web Oculta es la parte de Web que queda “al otro lado” de las barreras de rastreo, y que los buscadores no pueden rastrear ni indexar. Puesto que los buscadores son los grandes canalizadores de tráfico, pertenecer a la Web Oculta es sinónimo de no poder disfrutar de tráfico directo procedente de los buscadores, lo cual significa, en la mayoría de los casos, de no poder disfrutar de tráfico.
Sitemap o Mapa del Web es un concepto con una doble acepción. Tradicionalmente se trataba de una página HTML más de un sitio Web en la que se recogía la estructura principal del sitio con enlaces a las diferentes secciones. En tiempos más recientes, se usa el término sitemap para referirse a un fichero en formato XML generado para los buscadores. Contiene información sobre las páginas disponibles y frecuencia de actualización de sus contenidos. Por un lado, los sitemaps XML son de inestimable ayuda para salvar problemas de barreras de rastreo y Web oculta. Por otro, los sitemaps HTML están concebidos más como ayuda al usuario humano de un sitio Web, aunque, correctamente implementados, también pueden servir de ayuda a los buscadores para facilitar el rastreo e indexación de páginas.
El robots.txt es un fichero que suele estar disponible en la raíz de un sitio Web (es decir, http://miWebsite/robots.txt). Se trata de un fichero que las arañas de los buscadores piden antes de descargar ninguna página de un sitio Web. En el fichero robots.txt se pueden especificar qué páginas y/o directorios se pueden o no indexar en los buscadores. El fichero robots.txt suele utilizarse con diferentes propósitos: • Para evitar que cierta información sensible esté indexada en los buscadores.
• Para evitar que información poco útil se indexe y concentrar la actividad del buscador sobre las páginas más importantes
• Para especificar la ruta del sitemap XML
Muchos sitios Web no disponen de robots.txt. En tal caso, los buscadores asumen que el propietario de dicho sitio no impone ningún tipo de reglas al rastreo e indexación
A continuación se incluye un ejemplo de robots.txt: incluye una referencia al sitemap del sitio Web e indica a los robots que no deben indexar el /admin.php ni nada del directorio /admin.
User-agent: * Disallow: /admin.php Disallow: /admin/ Sitemap: http://misitio.com/sitemap
#SEO en Puerto Vallarta #Agencia de posicionamiento web en puerto Vallarta
¿Nuevo en el comercio electrónico? Primeros pasos para vender en línea Aprende los fundamentos del…
La importancia de un buen contenido SEO en una estrategia de marketing digital Descubre cómo…
La advertencia del NIS sobre ciberataques norcoreanos contra empresas de semiconductores subraya la importancia crítica…
Las autoridades de Corea del Sur han emitido una advertencia crítica sobre ciberataques orquestados por…
Aumenta tus ventas con las redes sociales: consejos, trucos y estrategias imperdibles Descubre cómo aumentar…
Automatización de Ventas Digitales: Maximiza tus Ganancias con Marketing Digital Descubre cómo la automatización de…