Vollständiger Website-Crawl: Finde jedes SEO-Problem auf deiner Website

Der Crawl, der einem Kunden 12.000 Dollar ersparte

Ich erinnere mich an den genauen Moment, in dem ich erkannte, dass vollständige Website-Crawls keine Option waren. Es war ein Freitagmorgen – ich hatte gerade mit einem E-Commerce-Kunden angefangen, der handgefertigte Lederwaren verkauft. Sie hatten etwa 500 Seiten: Produktseiten, Kategorieseiten, Blogbeiträge, Über-uns-Seiten, das übliche Gemisch. Sie hatten drei Monate in Folge Traffic verloren und konnten nicht herausfinden, warum.

„Wir wollen nur ein Audit unserer Startseite", sagte mir der Gründer im ersten Anruf. Ich sagte natürlich, aber ich werde auch deine gesamte Website crawlen. Er hielt es nicht für nötig. Ich habe es trotzdem gemacht.

Zwei Stunden später starrte ich auf eine Tabelle, bei der mir übel wurde. Siebenundvierzig defekte Links. Dreiundzwanzig Seiten mit doppelten Titeln. Fünfzehn Seiten ohne Meta-Description. Und das Schlimmste? Sechzehn dieser defekten Links befanden sich auf Produktseiten – Seiten, die vor dem Bruch aktiv Umsatz generierten.

Jemand hatte vor drei Monaten eine Content-Migration durchgeführt und eine Reihe alter Blogbeiträge gelöscht, ohne Weiterleitungen einzurichten. Jeder einzelne dieser gelöschten Beiträge hinterließ einen 404, auf den weiterhin von Produktseiten, Kategorieseiten und der Startseite verlinkt wurde. Google crawlete diese toten Links jeden Tag, verschwendete das Crawl-Budget der Website und schuf Sackgassen für die Nutzer.

Ich habe alle 47 defekten Links in etwa 45 Minuten behoben. Fehlende Meta-Descriptions habe ich in weiteren 30 Minuten zu 15 Seiten hinzugefügt. Die 23 doppelten Titel habe ich in etwa einer Stunde neu geschrieben. Gesamtzeit: zwei Stunden. Der organische Traffic der betroffenen Seiten stieg innerhalb eines Monats um 15 %.

Zwei Stunden Arbeit für eine Traffic-Steigerung von 15 %. Das ist die Art von ROI, die meinen Job lohnenswert macht.

Was ein Single-Page-Audit überseht

Das ist es, was Single-Page-Audits angeht: Sie sind nützlich, aber es ist, als würde man einen Reifen deines Autos prüfen und das einen Werkstattbesuch nennen. Du findest vielleicht ein Problem mit diesem einen Reifen, aber du übersiehst völlig, dass dein Getriebe undicht ist.

Ein vollständiger Website-Crawl findet systemische Probleme – Muster, die sich über Dutzende oder Hunderte von Seiten wiederholen. Und diese Muster sind fast immer wirkungsvoller als einzelne Seitenprobleme.

Was der Crawl tatsächlich aufdeckt:

Defekte Links (404s). Ich finde sie auf fast jeder Website, die ich crawle. Meistens 10–50 defekte Links, manchmal mehr. Jeder einzelne verschwendet Crawl-Budget und schafft Sackgassen für Nutzer. Ein Kunde hatte 200+ defekte Links, weil er von einem alten CMS migriert war, ohne Weiterleitungen einzurichten. Google verbrachte mehr Zeit mit dem Crawlen von 404s als mit echtem Inhalt.

Fehlende Titel und Descriptions. Du wärst schockiert, wie viele Seiten ohne Meta-Tags ausgeliefert werden. Ich habe letzten Monat eine SaaS-Website mit 2.000 Seiten gecrawlt – 340 Seiten hatten keine Meta-Description. Google zog zufällige Snippets aus dem Seiteninhalt, und die meisten davon waren schrecklich. Eine Produktseite hatte „Cookie-Richtlinie" als Google-Snippet. Ja, wirklich.

Dünner Content. Seiten mit weniger als 300 Wörtern ranken selten für irgendetwas Bedeutendes. Sie signalisieren Google einen geringen Wert. Ich finde sie ständig – besonders Kategorieseiten, die nur Produkte auflisten, ohne echten Inhalt.

Weiterleitungsketten. Seite A leitet auf Seite B weiter, die auf Seite C weiterleitet. Das ist verschwendete Link-Equity und langsameres Laden. Ich habe Ketten mit bis zu 5 Weiterleitungen gesehen. Fünf! Das ist keine Weiterleitungskette – das ist eine Weiterleitungs-Conga-Linie.

Doppelter Content. Mehrere Seiten, die dasselbe Keyword anpeilen, kannibalisieren gegenseitig ihre Rankings. Google muss eine auswählen, und es wählt meistens die falsche.

Mein Priorisierungs-Framework (klau es dir)

Nicht alle Probleme sind gleichwertig. So priorisiere ich nach einem Crawl:

Repariere zuerst defekte Links. Sie sind der einfachste Gewinn, schnell zu beheben und haben sofortige Wirkung. Ich öffne buchstäblich die Website, finde die defekten Links und aktualisiere sie oder leite sie per 301 auf die nächstliegende aktive Seite weiter. Fertig.

Behebe dann fehlende Titel auf stark frequentierten Seiten. Verschwende keine Zeit mit Seiten, die 2 Besuche pro Monat bekommen. Finde die 20–30 Seiten, die tatsächlich Traffic bringen, und behebe zuerst ihre Titel. Das dauert meistens 30–45 Minuten und hat die größte Wirkung auf die CTR.

Kümmere dich dann um dünnen Content. Entweder erweiterst du dünne Seiten auf 500+ Wörter oder du setzt sie auf noindex, wenn sie es nicht wert sind, behalten zu werden. Ich hatte einen Kunden mit 40 dünnen Kategorieseiten. Wir haben die Top 15 erweitert und den Rest auf noindex gesetzt. Organische Sitzungen von Kategorieseiten stiegen in sechs Wochen um 28 %.

Nutze unser Full-Site-Crawl-Tool, um einen umfassenden Crawl durchzuführen. Es erstellt eine priorisierte Liste von Problemen mit Schweregraden – damit du nicht herausfinden musst, was zuerst behoben werden soll.

Für eine tiefere Analyse einzelner Seiten kombiniere das Crawling mit unserem SEO-Audit-Tool, das eine Analyse jeder URL anhand von 16 dimensionen bietet. Ich mache normalerweise zuerst den vollständigen Website-Crawl, um Muster zu finden, und führe dann Einzel-Audits bei den schlimmsten Fällen durch.

Nicht einmal crawlen und vergessen

Diesen Fehler habe ich früh in meiner Karriere gemacht. Ich crawlete eine Website, behob alles und crawlete danach nie wieder. Sechs Monate später hatten sich dieselben Probleme wieder angesammelt – neue defekte Links, neue fehlende Titel, neuer dünner Content.

Heute richte ich für jeden Kunden monatliche Crawls ein. Es ist wie eine jährliche Autoinspektion – du findest vielleicht nichts Größeres, aber du erwischst die kleinen Dinge, bevor sie teuer werden.

Defekte Links sammeln sich im Laufe der Zeit an, wenn Inhalte gelöscht oder verschoben werden. Neue Seiten werden ohne Meta-Descriptions veröffentlicht. Entwickler stellen Code-Änderungen bereit, die Canonical-Tags zerstören. Das passiert ständig.

Nutze unseren Change-Monitor, um Benachrichtigungen zu erhalten, wenn sich Seiten ändern. Ich habe das für all meine Kunden eingerichtet – es mailt mir, wenn sich Title-Tags, Meta-Descriptions oder Canonical-URLs ändern. Letzten Monat habe ich einen Entwickler erwischt, der versehentlich Robots-Meta-Tags von 30 Seiten entfernte. Wir haben es in 10 Minuten behoben, statt es zwei Wochen später zu entdecken, als der Traffic einbrach.

Fazit: Ein vollständiger Website-Crawl ist kein einmaliges Ereignis. Er ist eine monatliche Gewohnheit. Und ehrlich gesagt ist es die Gewohnheit, die Websites, die sich stetig verbessern, von Websites trennt, die langsam verfallen.