Wie wir 200.000 Seiten aus dem Google-Index bekamen

Ein mittelgroßer Online-Shop kam im März 2024 zu uns mit einem merkwürdigen Problem. Trotz 50.000 Produktseiten waren nur 12.000 im Google-Index. Der organische Traffic stagnierte seit Monaten.
Was haben wir gemacht? Zuerst die Log-Dateien analysiert. Der Googlebot verschwendete 78% seiner Besuche auf komplett nutzlose URLs. Gefilterte Ansichten, Session-IDs in den URLs, unendliche Kalender-Seiten. Kennt ihr das auch?
Die drei größten Probleme:
- Facettenfilter erzeugten 180.000 duplicate URLs ohne canonical tags
- Veraltete Produkte blieben indexierbar statt auf 410 gesetzt zu werden
- Die XML-Sitemap enthielt 30.000 URLs mit 404-Fehlern
Wir haben systematisch aufgeräumt. Alle Filterseiten bekamen noindex-Tags. Die robots.txt blockierte parameterbasierte URLs. Alte Produkte bekamen endlich HTTP 410 statt 404. Die Sitemap wurde auf tatsächlich relevante Seiten reduziert.
Nach vier Wochen crawlte Google 340% effizienter. Statt sinnloser Filterkombinationen indexierte der Bot echte Produktseiten. Nach zwei Monaten waren 41.000 Seiten im Index.
Der organische Traffic? Plus 67% innerhalb von drei Monaten. Nicht durch neue Inhalte oder Links, sondern weil Google endlich die richtigen Seiten finden konnte.
Was mich überrascht hat: Die Lösung war nicht kompliziert. Keine fancy Tools, keine teuren Consultants. Nur Log-Dateien lesen, verstehen was der Bot macht, und die offensichtlichen Probleme beheben.
Schaut euch eure eigenen Crawl-Daten an. Ihr werdet wahrscheinlich ähnliche Verschwendung finden.