Als Seitenbetreiber kann man mit NoFollow und NoIndex den Crawler und auch die Indexierung von Seiten einigermaßen steuern. Sie beeinflussen, was von meiner Seite im Google-Index landet und wie sich der Google Crawler durch meine Seite bewegt.