Inhalt
Was ist die Indizierung einer Website?
Die Indizierung einer Website ist der Prozess, bei dem Informationen über eine Ressource im Katalog von Suchmaschinen, bekannt als Index, hinzugefügt und aktualisiert werden. Suchmaschinen verwenden spezielle Programme, die als Crawler bezeichnet werden und die Webseiten scannen. Diese automatisierten Werkzeuge haben ihren Namen vom englischen Wort "crawler", was so viel wie "Krabbler" bedeutet. Die Crawler von Suchmaschinen wie Yandex und Google sind als YandexBot und GoogleBot bekannt.
Crawler untersuchen den Text und den multimedialen Inhalt der Website und übermitteln die gesammelten Daten an Algorithmen, die die Qualität der gefundenen Informationen analysieren. Wenn die Website alle Kriterien erfüllt, wird sie in den Index der Suchmaschine aufgenommen. Das regelmäßige Crawlen von Seiten ermöglicht es den Crawlern, aktuelle Daten zu finden, und die vorgenommenen Änderungen können sowohl die Position der Website in den Suchergebnissen verbessern als auch verschlechtern.
Wie funktioniert die Indizierung?
Phasen der Indizierung
Der Indizierungsprozess kann in zwei Hauptphasen unterteilt werden: Crawlen und Bewerten.
Crawlen
Im ersten Schritt analysiert der Crawler die Seite, beginnend mit der Suche nach der Datei robots.txt, die angibt, welche Seiten gecrawlt werden dürfen. Der Website-Besitzer kann den Zugriff des Crawlers auf bestimmte Inhalte einschränken, um beispielsweise persönliche Daten zu verbergen. Anschließend liest der Crawler die Meta-Tags, die Beschreibungen, Schlüsselwörter und Anweisungen für Browser und Crawler enthalten, bevor er den Hauptinhalt der Seite, einschließlich Text, Bilder und Videos, untersucht.
Bewertung und Indizierung
Der Crawler sammelt Informationen über den Inhalt der Website und übergibt diese an Algorithmen, die die Qualität des Inhalts bewerten. Die Algorithmen berücksichtigen viele Faktoren, wie z.B. die Doppelung von Inhalten, das Vorhandensein von betrügerischem Material und andere Parameter, die für die Aufnahme einer Seite in den Index erfüllt sein müssen. Wichtige Punkte, auf die man besonders achten sollte, sind:
- Schlüsselwörter: Sie sollten auf der Seite vorhanden sein, damit die Algorithmen den Inhalt korrekt interpretieren können.
- Einzigartigkeit: Der Inhalt sollte keine Informationen von anderen Ressourcen wiederholen, da dies zu einem Bann führen kann.
- Nutzen: Die Seite sollte aktuelle, strukturierte und nützliche Informationen für die Nutzer enthalten.
Bedeutung der Indizierung für Nutzer und Unternehmen
Die Indizierung beschleunigt die Arbeit von Suchmaschinen erheblich, da sie ein erneutes Crawlen aller Seiten bei jeder Nutzeranfrage vermeiden kann. Dies ermöglicht es den Nutzern, relevantere Informationen schneller und einfacher zu erhalten. Für Unternehmen ist die Indizierung ein entscheidender Faktor für die Sichtbarkeit im Internet: Ohne sie können Nutzer Ihre Website nicht über Suchanfragen finden. Wenn eine Ressource nicht indiziert wird, wird sie nur von denjenigen gesehen, die den direkten Link kennen.
Wie kann man die Indizierung von Seiten beschleunigen?
Crawler durchsuchen Websites regelmäßig, jedoch gibt es Möglichkeiten, den Indizierungsprozess zu beschleunigen. Beispielsweise gibt es im Yandex.Webmaster-Dienst ein Tool "Seitenneuüberprüfung", das es Administratoren ermöglicht, bis zu 30 Adressen hinzuzufügen, damit der Crawler diese schneller besucht, als ursprünglich geplant. Aktualisierte Seiten können innerhalb von zwei Wochen in den Suchergebnissen erscheinen. Es gibt spezielle Dienste zur Überprüfung der Indizierung für alle Suchmaschinen.
Wie kann man eine Seite von der Indizierung ausschließen?
Um die Arbeit des Crawlers auf der Website einzuschränken, muss das Crawling-Budget beachtet werden, das die Anzahl der Seiten bestimmt, die in einem bestimmten Zeitraum für das Crawlen verfügbar sind. Um die Indizierung bestimmter Seiten zu verhindern, können mehrere Methoden angewendet werden:
- Verwendung des Meta-Tags robots mit der Direktive noindex.
- Hinzufügen der Direktive Disallow in die robots.txt-Datei für bestimmte Seiten.
- Zugang durch Benutzerautorisierung einschränken.
- Verwendung von Funktionen des Website-Baukastens zur Deaktivierung der Indizierung.
