Für eine gute Platzierung in den Suchmaschinen ist eine Website mit einwandfreiem technischem SEO erforderlich. Wenn Sie wirklich das Beste aus Ihrer Website herausholen und die Konkurrenz ausstechen wollen, sind einige Grundkenntnisse der technischen SEO ein Muss. In diesem Beitrag werden wir über eines der wichtigsten Konzepte der technischen SEO sprechen: Crawlability.
#1 Was ist ein Crawler?
Eine Suchmaschine wie Google besteht aus einem Crawler, einem Index und einem Algorithmus. Der Crawler folgt den Links. Wenn der Crawler von Google Ihre Website findet, liest er sie und ihr Inhalt wird im Index gespeichert. Ein Crawler folgt den Links im Web. Ein Crawler wird auch als Roboter, Bot oder Spider bezeichnet. Er ist rund um die Uhr im Internet unterwegs. Sobald er auf eine Website stößt, speichert er die HTML-Version einer Seite in einer riesigen Datenbank, dem sogenannten Index. Dieser Index wird jedes Mal aktualisiert, wenn der Crawler Ihre Website besucht und eine neue oder überarbeitete Version der Seite findet. Je nachdem, für wie wichtig Google Ihre Website hält und wie viele Änderungen Sie an Ihrer Website vornehmen, kommt der Crawler mehr oder weniger oft vorbei.
#2 Was bedeutet Crawlability?
Crawlability hat mit den Möglichkeiten zu tun, die Google hat, um Ihre Website zu crawlen. Crawler können von Ihrer Website ferngehalten werden. Es gibt mehrere Möglichkeiten, einen Crawler von Ihrer Website fernzuhalten. Wenn Ihre Website oder eine Seite auf Ihrer Website blockiert ist, sagen Sie dem Crawler von Google damit: „Komm nicht hierher“. In den meisten Fällen wird Ihre Website oder die betreffende Seite nicht in den Suchergebnissen auftauchen.
Es gibt einige Dinge, die Google daran hindern können, Ihre Website zu crawlen (oder zu indizieren):
- Wenn Ihre robots.txt-Datei den Crawler blockiert, kommt Google nicht auf Ihre Website oder eine bestimmte Webseite.
- Bevor der Crawler Ihre Website durchsucht, schaut er sich den HTTP-Header Ihrer Seite an. Dieser HTTP-Header enthält einen Statuscode. Wenn dieser Statuscode besagt, dass eine Seite nicht existiert, wird Google Ihre Website nicht crawlen. Im Modul über HTTP-Header unserer technischen SEO-Schulung werden wir Ihnen alles darüber erzählen.
- Wenn das Robots-Meta-Tag auf einer bestimmten Seite die Suchmaschine daran hindert, diese Seite zu indizieren, wird Google diese Seite zwar crawlen, aber nicht in seinen Index aufnehmen.
#3 Schlussfolgerung
Obwohl die Crawlability nur die Grundlage der technischen SEO ist (sie hat mit all den Dingen zu tun, die es Google ermöglichen, Ihre Website zu indexieren), ist sie für die meisten Leute bereits ziemlich fortgeschritten. Dennoch, wenn Sie – vielleicht sogar ohne es zu wissen! – Crawler von Ihrer Website fernhalten, werden Sie bei Google nie weit oben stehen. Wenn Sie also ernsthaft an SEO interessiert sind, sollte Ihnen dies wichtig sein.
Auch wenn Sie technische Unterstützung bei SEO für Ihre neue – oder nicht mehr ganz so neue – Website benötigen, gibt es immer Mobiteam: Die Top-Webagentur aus Berlin. Wir helfen gerne jedem bei SEO-Fragen, Webdesign, Webentwicklung und Beratung.
