NoIndex NoFollow – so steuerst Du den Crawler und sendest die richtigen Signale an Google

Unlängst hatte ich mich beruflich mit der Frage auseinanderzusetzen, ob man für Tag- und Kategorieseiten den NoFollow-Tag verwenden muss. Die SEO-Agentur eines Kunden hatte ihm das nahegelegt und er suchte nun meinen Rat bzw. meine Zweitmeinung. Die Erkenntnisse aus dieser Diskussion habe ich euch hier nun zusammengefasst.

NoIndex und NoFollow – zwei Auszeichnungen für effizientes Crawling

Grundsätzlich kann man als Seitenbetreiber mit diesen beiden Tags oder auch Auszeichnungen den Crawler und auch die Indexierung von Seiten einigermaßen steuern. Sie beeinflussen, was von meiner Seite im Google-Index landet und wie sich der Google Crawler durch meine Seite bewegt.

„Crawler“ ist ein Oberbegriff für Programme wie „Robot“ oder „Spider“. Diese durchsuchen Websites automatisch, indem sie Links von einer Webseite zur nächsten folgen. Der meistverwendete Crawler von Google ist der Googlebot.

Man sollte meinen, dass es für den Websitebetreiber am besten ist, wenn wirklich jede Inhaltsseite gecrawlt und indexiert wird, aber weit gefehlt. Man kann, mein muss genau abwägen, welche Inhalte durchsucht werden sollen und in den SERP landen, denn nicht jede Seite macht für Google und vor allem auch für den Nutzer Sinn. Zudem ist die Anzahl an Crawls nicht endlos und der Crawler besucht die Seite nicht jeden Tag, daher muss diese Zeit, diese Aufmerksamkeit so sinnvoll wie möglich genutzt werden.

Diese Feinjustierung erreicht man mit der Verwendung dieser Auszeichnungen „NoIndex“ und „NoFollow“, die beide entweder an einer Inhaltsseite, einem Link oder auch an einem Bereich im Quellcode der Seite oder über die Nutzung der robots.txt eingetragen werden.

NoIndex – Gucken Ja, Anfassen Nein

Vereinfacht gesagt ist es genau das: Google darf die Seite kennen, soll sie aber nicht in den Suchergebnissen anzeigen. Wichtig ist diese Auszeichnung, um bspw. doppelten Content zu vermeiden oder auch das Indexieren von großen Bilderdatenbanken bis hin zu Login-Seiten oder Inhalten, die nicht für die Allgemeinheit zugänglich sind.

Um auf die eingangs erwähnte Situation mit Kategorieseiten zurück zu kommen: Wenn ihr an einem Beitrag Schlagworte platziert, wird in vielen Fällen eine TagCloud daraus gespeist oder die Schlagworte werden als Kategorie am Beitrag angezeigt. Diese Schlagworte oder auch Tags bilden dann in der Regel Kategorien, über die der Nutzer weitere Beiträge findet, wenn er sie anklickt. Im Grunde genommen sind es also aktive Filter. Nun produzieren diese Tags automatisch neue Landingpages, also Übersichtsseiten. Auf denen sind dann die Beiträge zu finden, die den gleichen Tag erhalten haben.

Dumm ist nur, dass genau diese neuen Landingpages Duplicate Content sind, weil die darauf dynamisch generierten Seitenteaser bereits existieren, in der Regel auf der Startseite des Blogs. Um hier also eine Abstrafung zu vermeiden, sollten diese Kategorieseiten immer mit einem NoIndex-Tag gekennzeichnet sein. Dass ist das Signal an Google, dass die Seiten zwar zur Website an sich gehören, aber bitte nicht im Index ausgewiesen werden sollen. Alternativ kann man auch den Canonical Tag dafür nutzen, aber das ist meist etwas aufwändiger. NoIndex ist da wesentlich eleganter.

NoFollow – Du kommst hier nicht rein

Während also NoIndex das Crawling der Seiten nicht beeinflusst, sondern nur die Indexierung, blockiert NoFollow den Crawler restriktiv. Das heißt, wenn ein Link mit einem NoFollow-Tag belegt ist, heißt das für den Crawler, dass er diesem nicht folgen soll. Klingt erst einmal nicht tragisch, oder?

ABER: Exzessiv oder falsch eingesetzt verhindert der NoFollow-Tag, dass sich Google ein umfassendes Bild von der Seite machen kann. Schlimmer noch, es kann sein, dass dadurch wichtige Inhaltsseiten gar nicht mehr gecrawlt werden, weil sie der Googlebot schlichtweg nicht mehr findet. Dadurch kann der natürlich „Linkjuice“ einer Seite nachhaltig gestört werden. Der ist aber wichtig, denn interne Links besitzen durchaus eine hohe Relevanz für Google und einen nicht zu unterschätzenden Wert für die Sichtbarkeit einer Seite.

Schaut man sich die Meinungen der SEO-Experten, dann kann man die Empfehlungen auf drei wichtige Erkenntnisse zusammenfassen:

• NoFollow zur Vermeidung von Spamlinks, bspw. in den Kommentaren
• NoFollow für Anmeldeseiten
• NoFollow für bezahlte Links oder ausgehende Links, denen man nicht 100% vertraut

In jedem Fall sollte man damit sehr sparsam umgehen, um das Linkprofil seiner Seite und den Linkjuice nicht zu stören. Nachteil von NoFollow ist auch, dass der Crawler dann nicht erkennen kann, ob eine Seite in den Index darf oder nicht, weil er den Quellcode ja nicht untersuchen darf. Im ungünstigsten Fall wird so eine Seite inhaltlich zwar nicht gecrawlt, landet aber dann doch im Index.

Fazit

NoIndex für die Vermeidung von doppelten Inhalten sinnvoll und wichtig. NoFollow nur im Ausnahmefall verwenden und immer bei bezahlten Links.