Wie Google und Bing neue Seiten überhaupt entdecken
Crawler arbeiten nach einem simplen Prinzip, das sich seit Jahrzehnten kaum verändert hat. Von bereits bekannten Seiten folgen sie jedem Link, den sie finden, und lesen so nach und nach das Web ab. Zusätzlich werten sie Sitemaps aus, also Dateien, in denen Sie alle Ihre Adressen auflisten. Frisch veröffentlichte Websites ohne eingehende Links und ohne Sitemap tauchen in dieser Rechnung schlicht nicht auf.
Schon ein einziger Link von einer Seite, die Google ohnehin regelmäßig besucht, bringt oft mehr als jede Übermittlung. Infrage kommen ein Branchenverzeichnis, ein Presseeintrag, eine Partnerseite oder Ihr eigenes Profil in einem sozialen Netzwerk. Innerhalb Ihres eigenen Auftritts übernimmt die interne Verlinkung dieselbe Aufgabe und führt den Crawler von der Startseite zu jeder Unterseite, statt einzelne Seiten isoliert stehen zu lassen.
Umgekehrt gilt das nicht. Gekaufte Links, Kommentar-Spam in Foren und Einträge in Massenverzeichnissen beschleunigen nichts, sie schaffen Probleme. Wertvolle Backlinks kommen von thematisch passenden Seiten mit echtem Publikum, schädliche Quellen erkennen Sie an Linkfarmen und Preislisten.