Redaktion: 4SYSTEMVeröffentlicht am Aktualisiert am

7 Min. Lesezeit

Eine Methode, um hilfreiche Einkaufsfilter von crawlwürdigen Seiten zu unterscheiden, ohne Crawling-Sperren und Deindexierung zu verwechseln.

Um Facettennavigation und SEO zu steuern, wählen Sie zuerst die Filterkombinationen aus, die als Suchzielseiten infrage kommen, und begrenzen anschließend das Crawling der übrigen. Lassen Sie nicht jede Farbe, Größe, Sortierung und Seitennummerierung stillschweigend Ihre Strategie bestimmen. Google empfiehlt, das Crawling von Facetten-URLs zu verhindern, wenn deren Indexierung nicht erforderlich ist, und die für Crawler zugänglichen URLs sorgfältig zu strukturieren.[1] Weisen Sie deshalb jeder URL-Familie eine Aufgabe zu, bevor Sie eine technische Regel wählen.

Nutzung, Crawling und Indexierung trennen

Ein Filter kann beim Einkauf helfen, ohne einen Platz in den Suchergebnissen zu benötigen. Crawling bezeichnet den Besuch einer URL durch einen Crawler; Indexierung betrifft ihre Aufnahme in den Index. Google erklärt, dass Facetten einen sehr großen URL-Raum erzeugen, Ressourcen verbrauchen und die Entdeckung nützlicher Inhalte verlangsamen können.[1] Es geht nicht darum, Filter abzuschaffen, sondern die dadurch auffindbaren Seiten zu steuern.

Erfassen Sie zunächst die Parameter: Produktkriterien, Sortierung, Darstellung, Seitennummerierung und Marketing-Tracking. Unterscheiden Sie Parameter, die die Auswahl tatsächlich verändern, von solchen, die dieselben Artikel nur anders anordnen. Bewahren Sie für den Einkauf eine verständliche Shopnavigation. Diese SEO-Entscheidung betrifft die für Suchmaschinen sichtbaren URLs, nicht die systematische Entfernung kundenrelevanter Funktionen.

Jeder URL-Familie eine Richtlinie zuweisen

Die folgende Tabelle dient dazu, eine Entscheidung zu dokumentieren, nicht überall dieselbe Anweisung anzuwenden. Eine zur Indexierung vorgesehene Seite sollte eine erkennbare Suchabsicht bedienen und eine brauchbare Auswahl bieten. Prüfen Sie auch, ob Sie Inhalte und interne Verlinkung pflegen können. Eine Ansammlung fast identischer Seiten ist keine redaktionelle Strategie.

Entscheidungstabelle für gefilterte URLs
FamilieZielFestzulegende Behandlung
HauptkategorieDauerhafter EinstiegspunktErlaubtes Crawling und stimmige Inhalte
Ausgewählte KombinationAntwort auf einen eigenständigen BedarfStabile URL, gepflegte Seite und passende Links
Sortierung oder Kombination ohne SuchwertReine NavigationsfunktionCrawling passend zur Architektur begrenzen
Unmögliche Kombination oder nicht vorhandene FolgeseiteKeine vermeintlich nützliche Seite erzeugenHTTP-404-Antwort unter der betroffenen URL

Regeln entwickeln, ohne ihre Wirkungen zu vermischen

Google unterscheidet unter anderem zwischen robots.txt-Sperren und Filtern auf Basis von URL-Fragmenten für Facetten, deren Indexierung nicht angestrebt wird. Die Dokumentation beschreibt canonical- und nofollow-Signale als langfristig meist weniger wirksam zur Steuerung dieses Crawlings.[1] Leiten Sie daraus keine sofortige Änderung des gesamten Katalogs ab: Prüfen Sie zuerst den aktuellen Zustand und die Abhängigkeiten.

  1. Reale Beispiele jeder URL-Familie sammeln, einschließlich Parameter, HTTP-Status, eingehender interner Links und Filterverhalten.
  2. Eine begrenzte Liste von Seiten als Suchziele festlegen und jede Auswahl anhand von Nutzen und Pflegebedarf begründen.
  3. Für die übrigen Familien den passenden Mechanismus wählen und dabei weniger Crawling von der Entfernung bereits indexierter Seiten unterscheiden.
  4. Die URL-Erzeugung vereinheitlichen: feste Filterreihenfolge in Pfaden, keine doppelten Filter und das übliche Trennzeichen für Parameter.
  5. Kategorielinks, Paginierungsregeln und Antworten leerer Kombinationen prüfen, bevor die Änderungen ausgeweitet werden.

Eine noindex-Anweisung muss gelesen werden, um zu wirken. Google weist darauf hin, dass bei einer robots.txt-Sperre der Crawler diese Anweisung nicht sehen kann und die Seite bei Verlinkung von anderer Stelle weiterhin in Ergebnissen erscheinen kann.[2] Planen Sie bei bereits indexierten Facetten zuerst den Umgang mit diesem Zustand, bevor gegebenenfalls eine Sperre folgt. Der Leitfaden zu robots.txt und noindex verdeutlicht diese Unterscheidung.

Fiktives Beispiel: verfügbare Filter, ausgewählte Seiten

Vollständig fiktives Beispiel: Ein Shop bietet 8 Farben, 6 Größen und 5 Materialien an. Ist jedes Kriterium optional und erlaubt jeweils nur einen Wert, ergeben sich bereits 378 mögliche Zustände einschließlich des ungefilterten Zustands. Diese Beispielrechnung berücksichtigt weder Sortierung noch Seitennummerierung; sie ist keine Messung der URL-Anzahl eines realen Shops. Mehrere erlaubte Werte je Kriterium würden den Umfang erneut verändern.

Das Team wählt „wasserdichte Jacken“ als dauerhaftes Suchziel, weil diese Auswahl zu einem Angebot und einem klar formulierten Bedarf passt. Es macht nicht automatisch jede Größe und Farbe zur Suchzielseite. Die Filter bleiben für den Einkauf nutzbar. Eine widersprüchliche Kombination erhält die dafür vorgesehene Behandlung, ohne Weiterleitung auf eine allgemeine Seite, die das Problem verschleiern würde.

Antworten und Entdeckungswege prüfen

Prüfen Sie die Regeln in einer Validierungsumgebung mit erlaubten und gesperrten URLs sowie ähnlichen Varianten. Google empfiehlt das übliche Parametertrennzeichen, eine feste Reihenfolge in Pfaden und HTTP-Status 404 für Kombinationen ohne Ergebnisse, widersprüchliche oder doppelte Filter und nicht vorhandene Paginierungsseiten.[1] Unterscheiden Sie solche URLs von einer dauerhaften Kategorie, deren Angebot vorübergehend betroffen ist: Dafür ist eine eigene Entscheidung sinnvoll.

  • Den tatsächlich ausgelieferten HTTP-Status und die Anweisungen kontrollieren, statt nur den Einstellungen der Oberfläche zu vertrauen.
  • Prüfen, ob eine für Filter vorgesehene Regel Kategorien, Produkte oder benötigte Ressourcen sperrt.
  • Verschiedene Parameterreihenfolgen und wiederholte Werte testen, um doppelte URL-Erzeugung zu erkennen.
  • Anschließend verfügbare Protokolle und Berichte auswerten und ausgerollte Änderung, neues Crawling und Indexierungsentwicklung getrennt betrachten.

Häufige Fragen

Sollten sämtliche Facetten gesperrt werden?

Nein. Manche Auswahlen können gute Zielseiten sein, wenn sie einen eigenständigen Bedarf bedienen und gepflegt werden. Entscheidend ist die ausdrückliche Auswahl. Bei den übrigen beweist der Nutzen des Filters für Besucher nicht, dass alle Kombinationen gecrawlt werden sollten.

Reicht eine canonical aus, um Crawling zu reduzieren?

Behandeln Sie sie nicht als Sperre. Laut Google kann sie das Crawling nichtkanonischer Versionen allmählich reduzieren; andere Methoden werden jedoch als langfristig meist wirksamer beschrieben. Wählen Sie den Mechanismus nach Ihrem tatsächlichen Ziel und prüfen Sie seine Auswirkungen auf die konkrete Architektur.[1]

Können Sperre und noindex bedenkenlos kombiniert werden?

Nein. Verhindert robots.txt den Seitenzugriff, kann der Crawler die noindex-Anweisung nicht entdecken. Bereits indexierte URLs müssen daher über einen geplanten Übergang mit passenden Kontrollen behandelt werden. Eine Regel in einer Datei beweist noch nicht, dass die Seite aus den Ergebnissen verschwunden ist.[2]

Facetten als Architekturentscheidung behandeln

Stimmige Facettennavigation und SEO beruhen auf einer Bestandsaufnahme, einer Richtlinie je Familie und kontrollierter URL-Erzeugung. Schützen Sie zunächst nützliche Ziele und klären Sie bereits indexierte Fälle. Um diese Logik mit dem Katalog und den technischen Grenzen Ihres Shops abzustimmen, bieten die Leistungen von 4SYSTEM einen Einstieg in Diagnose und erforderliche Kontrollen, ohne ein Ranking-Ergebnis zu versprechen.

Quellen

  1. Managing crawling of faceted navigation URLs
  2. Block Search indexing with noindex

DE