Crawling ist ein Prozess, bei dem Suchmaschinen wie Google oder Bing Webseiten durchsuchen. Die Suche nach neuen oder aktualisierten Seiten wird als „Crawling“ bezeichnet. Sobald eine Seite gecrawlt wurde, kann sie in den Suchergebnissen (SERPs) angezeigt werden. Crawling ist ein komplexer Prozess, der jedoch im Wesentlichen auf drei Schritte reduziert werden kann:
- Die Suchmaschine findet eine neue Seite. Dies geschieht zum Beispiel, indem die Suchmaschine regelmäßig existierende Websites überprüft und nach neuen Inhalten sucht oder indem Website-Besitzer ihre Inhalte mithilfe von XML-Sitemaps manuell anmelden.
- Die Suchmaschine analysiert den Content der Seite. Dabei versucht die Maschine zu verstehen, um was für einen Typ von Content es sich handelt und welche Themen auf der Seite behandelt werden.
- Die Suchmaschine ordnet die Seite in ihrem Index ein und ruft sie gegebenenfalls bei Bedarf ab, um sie in den Suchergebnissen anzuzeigen
