Contenido
¿Qué es la indexación de un sitio web?
La indexación de un sitio web es el proceso de agregar y actualizar información sobre el recurso en el catálogo de los motores de búsqueda, conocido como índice. Los motores de búsqueda utilizan programas especiales llamados rastreadores, que escanean las páginas web. Estas herramientas automatizadas se llaman así por la palabra en inglés "crawler", que se traduce como "rastreador". Los rastreadores de motores de búsqueda como Yandex y Google son conocidos como YandexBot y GoogleBot, respectivamente.
Los rastreadores examinan el contenido de texto y multimedia en el sitio, transmitiendo los datos recopilados a algoritmos que analizan la calidad de la información encontrada. Si el sitio cumple con todos los criterios, se agrega al índice del motor de búsqueda. El rastreo regular de las páginas permite a los rastreadores encontrar datos actualizados, y los cambios realizados pueden mejorar o empeorar la posición del sitio en los resultados de búsqueda.
¿Cómo funciona la indexación?
Etapas de la indexación
El proceso de indexación se puede dividir en dos etapas principales: rastreo y evaluación.
Rastreo
En la etapa inicial, el rastreador analiza la página, comenzando por buscar el archivo robots.txt, que indica qué páginas pueden ser rastreadas. El propietario del sitio puede restringir el acceso del rastreador a cierto contenido, por ejemplo, para ocultar datos personales. Luego, el rastreador lee las metaetiquetas, que contienen descripciones, palabras clave y comandos para navegadores y rastreadores, antes de estudiar el contenido principal de la página, incluyendo texto, imágenes y videos.
Evaluación e indexación
El rastreador recopila información sobre el contenido del sitio y la transmite a algoritmos que evalúan la calidad del contenido. Los algoritmos consideran múltiples factores, como la duplicación de contenido, la presencia de material fraudulento y otros parámetros que deben cumplirse para agregar la página al índice. Los puntos clave a los que se debe prestar especial atención incluyen:
- Palabras clave: Deben estar presentes en la página para que los algoritmos puedan interpretar con precisión su contenido.
- Unicidad: El contenido no debe repetir información de otros recursos, de lo contrario, esto puede llevar a una prohibición.
- Utilidad: La página debe contener información actual, estructurada y útil para los usuarios.
Importancia de la indexación para los usuarios y los negocios
La indexación acelera significativamente el funcionamiento de los motores de búsqueda, evitando el rastreo de todas las páginas en cada solicitud de los usuarios. Esto, a su vez, permite a los usuarios obtener información relevante de manera más rápida y sencilla. Para las empresas, la indexación es un factor clave de visibilidad en la red: sin ella, los usuarios no podrán encontrar su sitio a través de búsquedas. Si un recurso no está indexado, solo lo verán aquellos que conocen el enlace directo.
¿Cómo acelerar la indexación de páginas?
Los rastreadores recorren periódicamente los sitios, sin embargo, existen formas de acelerar el proceso de indexación. Por ejemplo, en el servicio Yandex.Webmaster hay una herramienta llamada "Revisitar páginas", que permite a los administradores agregar hasta 30 direcciones para que el rastreador las visite más rápido de lo planeado. Las páginas actualizadas pueden aparecer en la búsqueda en un plazo de dos semanas. Para verificar la indexación, existen servicios especiales para todos los motores de búsqueda.
¿Cómo cerrar una página de la indexación?
Para limitar el trabajo del rastreador en el sitio, es necesario tener en cuenta el presupuesto de rastreo, que determina la cantidad de páginas disponibles para ser escaneadas en un período de tiempo determinado. Para prevenir la indexación de ciertas páginas, se pueden utilizar varios métodos:
- Usar la metaetiqueta robots con la directiva noindex.
- Agregar la directiva Disallow en el archivo robots.txt para páginas específicas.
- Restringir el acceso mediante la autorización de usuarios.
- Utilizar funciones del constructor de sitios para desactivar la indexación.
