Crawl-Budget verschwendet? So reparieren Sie das in 20 Minuten

Ihre Website hat 5.000 Seiten, aber Google crawlt immer die falschen. Parametrisierte URLs, Session-IDs, Filterkombinationen – der Bot verliert sich in technischem Müll, während Ihre Produktseiten ignoriert werden.

Das Problem kostet Sie Rankings

Schauen Sie in die Google Search Console unter „Crawling-Statistik". Wenn Sie dort 200 Anfragen pro Tag sehen, aber 80 Prozent davon auf ?sort=price oder /page=47 gehen, verbrennen Sie Ihr Crawl-Budget. Bei größeren Shops mit begrenztem Budget bedeutet das: Neue Produkte tauchen erst nach Wochen im Index auf.

Die häufigsten Übeltäter sind Facettennavigation ohne Canonicals, unendliche Kalender-URLs bei Events und PDF-Archive, die niemand braucht.

So räumen Sie auf

Öffnen Sie Ihre robots.txt. Blockieren Sie gezielt die Parameter, die keinen Mehrwert haben. Bei WordPress etwa: /feed/, /?s=, /page/[0-9]. Bei Shops: /filter, /sort, Session-Parameter.

Dann setzen Sie in der Search Console URL-Parameter-Behandlung. Markieren Sie Sortier- und Filter-Parameter als „Keine Auswirkung auf Seiteninhalt". Google crawlt sie dann seltener.

Checken Sie Ihr Log-File über eine Woche. Suchen Sie nach Mustern: Welche URL-Typen werden häufig gecrawlt, bringen aber null Traffic? Die gehören in die robots.txt oder bekommen ein Canonical-Tag.

Letzte Maßnahme: Interne Verlinkung anpassen. Wenn Ihre Pagination 50 Seiten tief geht, verlinken Sie nur die ersten 5 direkt. Der Rest bekommt rel=next/prev oder wird über Load-More dynamisch geladen.

Was sich ändert

Nach zwei bis drei Wochen sehen Sie in der Search Console: Crawl-Anfragen konzentrieren sich auf relevante URLs. Ihre neuen Blogposts erscheinen in drei statt zwölf Tagen im Index. Bei einem meiner Projekte stieg die Anzahl indexierter Produktseiten um 34 Prozent, nur weil Google nicht mehr in Filter-Kombinationen festhängt.