A/B-Tests auf einer Website: Definieren Sie eine Hypothese und eine Entscheidungsregel

8 Min. Lesezeit

Ein A/B-Test auf einer Website vergleicht Varianten in einem vorbereiteten Gerät, wobei vor dem Test eine Hypothese, eine Besucherverteilung und eine Analyseregel definiert werden. Es besteht nicht darin, eine Seite zu wechseln, auf eine Erhöhung zu warten und diese dann dem neuen Text zuzuordnen. Beginnen Sie mit einem dokumentierten Problem, wählen Sie eine interpretierbare Änderung aus und überprüfen Sie das Ergebnismaß. Bereiten Sie mit einer kompetenten Person auch die technischen Stoppkriterien und statistischen Grenzwerte vor. Wenn der Datenverkehr oder die Sammlung keine zuverlässige Schlussfolgerung zulässt, bevorzugen Sie einen qualitativen Test oder eine offensichtliche Korrektur anstelle eines falschen experimentellen Urteils.

Denken Sie daran: Eine Variante ist noch kein Experiment

Das Ergebnis kann je nach Kanal, Zeit oder Besucherprofil variieren. NIST erklärt, dass sekundäre Faktoren die Messung beeinflussen können und identifiziert, kontrolliert oder im experimentellen Design berücksichtigt werden müssen.^[29] Ihr Vergleich sollte dieses Problem beheben und nicht nur zwei optisch unterschiedliche Versionen hervorbringen.

Formulieren Sie die Hypothese für den A/B-Test Ihrer Website

Beschreiben Sie das gefundene Problem: eine Angebotsbedingung wurde nicht gefunden, eine mehrdeutige Aktion oder ein Formular, das schwer zu verstehen ist. Verlassen Sie sich auf verfügbare Beobachtungen, ohne einen Ausgangspunkt zu erfinden. „Schaltfläche konvertiert nicht“ ist zu vage, wenn Sie nicht wissen, welcher Schritt fehlschlägt.

Schreiben Sie eine Hypothese, die Veränderung und Ergebnis verknüpft: Wenn Sie den Servicezustand besser sichtbar machen, könnte dies betroffenen Besuchern helfen, eine gültige Anfrage einzureichen. Das Wort „könnte“ spiegelt die Unsicherheit wider, die der Test untersuchen soll. Verwandeln Sie diese Annahme nicht in ein Versprechen einer Steigerung.

Wählen Sie eine Variante, deren Bedeutung interpretierbar ist. Wenn Sie Titel, Preis, Form und Bildmaterial gleichzeitig ändern, lässt ein Unterschied im Ergebnis nicht zu, dass Sie das verantwortliche Element identifizieren können. Ein zusammenhängendes Set an Änderungen kann als Gesamtangebot getestet werden, allerdings müssen Sie dann diesen Umfang bekannt geben und dürfen das Ergebnis nicht einem isolierten Detail zuschreiben.

Hauptergebnis und Leitplanken definieren

Das Hauptergebnis muss einer validierten Aktion entsprechen: akzeptierte Anfrage, Befehl oder anderes genau definiertes Ereignis. Ein Verlauf wie der Hauptklick kann bei der Diagnose hilfreich sein, zeigt aber nicht automatisch den erfolgreichen Abschluss der Reise an. Überprüfen Sie das Ereignis im endgültigen System.

Fügen Sie geschäftliche und technische Leitplanken hinzu. Eine Variation sollte nicht zu mehr Formularfehlern führen, den Zugriff auf Informationen verschlechtern oder Anfragen außerhalb des Gebots zur Verbesserung einer oberflächlichen Metrik hervorrufen. W3C empfiehlt Anweisungen, Validierungen und Benachrichtigungen, um Formularfehler zu verstehen und zu korrigieren.^[33]

Die 4SYSTEM Landingpage-Leitfaden hilft dabei, die Konsistenz zwischen Versprechen und Handeln zu überprüfen. Diese Konsistenz muss in allen Variationen erhalten bleiben. Eine Version, die eine wesentliche Bedingung entfernt, ist keine akzeptable Optimierung, selbst wenn mehr Besucher klicken.

Bereiten Sie die Aufgabe und die Störfaktoren vor

Der Vergleich muss die Einheiten gemäß einer für die Frage entwickelten Regel verteilen und eine konsistente Darstellung gewährleisten. Untersuchen Sie die Persistenz der Variante für eine Person oder eine Sitzung, abhängig von Ihrem Gerät. Ein unbeabsichtigter Wechsel zwischen den Versionen kann die Interpretation des Ergebnisses erschweren.

NIST fasst sein experimentelles Prinzip zusammen, indem es kontrollierbare Faktoren kontrolliert und andere randomisiert; es beschreibt auch die Blockierung bestimmter parasitärer Faktoren.^[29] Bei diesem Handbuch handelt es sich nicht um eine vorgefertigte Bedienungsanleitung für irgendeine Website. Es bietet eine Grundlage für die Gestaltung eines Vergleichs, bei dem Variante und Zusammensetzung von Populationen nicht verwechselt werden.

Dokumentieren Sie die Kontaminationsquellen: Kampagnenänderungen, interne Besucher, Sitzungswiederaufnahme, Cache oder externe Integration. Eine Version, die hauptsächlich auf Mobilgeräten und die andere hauptsächlich auf Computern angezeigt wird, ermöglicht keinen sauberen Vergleich, indem einfach nur zwei Tarife angezeigt werden. Lassen Sie das Gerät überprüfen, bevor Sie echte Besucher aussetzen.

Protokoll vor dem Start schreiben

Definieren Sie die Einheit, das Hauptergebnis, die Ausschlüsse, den Zuweisungsmodus und die Analyseregel. Schätzen Sie den Datenbedarf auf der Grundlage des beobachteten Niveaus, des Effekts, den Sie erkennen möchten, und der gewählten Methode. Hier wird keine allgemeingültige Anzahl an Besuchen oder Tagen angeboten.

Planen Sie ein „nicht schlüssiges“ Ergebnis. Das Fehlen eines Unterschiedsbeweises beweist nicht die Gleichwertigkeit der Versionen. Eine unzureichende Probe, eine unterbrochene Sammlung oder ein zu unsicherer Effekt müssen weiterhin als solche gekennzeichnet bleiben. Dieses Ergebnis ist ein ehrliches Ergebnis des Geräts und kein Versäumnis, sich zu verstecken.

Unterscheiden Sie zwischen Notstopp und Ende der Analyse. Abhängig von Ihren Kriterien kann ein Funktionsfehler oder eine unangemessene Belichtung eine sofortige Abschaltung rechtfertigen. Andererseits kann das Anhalten, sobald ein Diagramm günstig erscheint, zu einer irreführenden Interpretation führen, wenn die Methode diese Prüfung nicht vorsieht. Schreiben Sie die Regel, bevor Sie die Ergebnisse sehen.

Protokollblatt zum Teilen

Ein ausgefülltes Protokoll ermöglicht es, das reale Erlebnis von einer grafischen Demonstration zu unterscheiden. Behalten Sie die dem Test entsprechenden Seitenversionen und Einstellungen bei: Ohne diese Elemente kann das Ergebnis nicht mit einer bestimmten Änderung verknüpft werden.

Technisches Rezept- und Sammlungsrahmen

Testversionen auf relevanten Geräten, Tastatur und Fehlerpfaden. Überprüfen Sie die Verteilung, die Pflege der Variante und die Auslösung des Ergebnisses. Eine korrekt angezeigte Seite sendet je nach Version möglicherweise dennoch ein anderes Ereignis.

Bewertungs-Tracker zur Zuordnung oder Messung von Besuchern. Die CNIL erinnert an den Grundsatz der vorherigen Zustimmung für bestimmte Ablagerungen und Messwerte von Tracern, mit begrenzten Ausnahmen.^[31] Ein als „A/B-Testing“ vorgestelltes Tool befreit Sie nicht von der Analyse seiner Funktionsweise und seines Zwecks.

Bereiten Sie sich darauf vor, Änderungen zu entfernen. Durch das Pausieren des Tests sollte eine funktionsfähige Website und keine unnötigen Skripte zurückbleiben. Dokumentenzugriff, Rückgabeversion und Kontrolle nach dem Herunterfahren. Das Versuchsprotokoll und die Standortsicherheit müssen gemeinsam angegangen werden.

Fiktives Beispiel: Eine B2B-Bedingung sichtbar machen

Ein imaginäres Unternehmen erhält Anfragen außerhalb des Interventionsbereichs. Es geht davon aus, dass die geografische Lage auf einer Angebotsseite schwer zu erkennen ist. Sie bereitet eine Variante vor, die diese Bedingung nahe an der Haupthandlung darstellt, ohne das Angebot zu ändern oder ein falsches Versprechen hinzuzufügen.

Im veranschaulichenden Szenario wählt das Team gültige Anfragen basierend auf ihrer Definition als primäres Ergebnis aus und überwacht Anfragen außerhalb des Gültigkeitsbereichs und Formularfehler. Sie lässt die Zuordnung und Analysemethode vor dem Start überprüfen. Die Anzahl der Klicks bleibt ein sekundäres Signal.

Wenn die Variante weniger Klicks, aber mehr individuelle Anfragen anzieht, sollte die Entscheidung den geplanten Kriterien folgen und nicht einem nachträglich hinzugefügten Klickziel. Reichen die Daten nicht aus, bleibt der Test ergebnislos. Es werden keine Zahlen, Vertrauensniveaus oder Kundengewinne erfunden; Das Beispiel zeigt nur die Protokolllogik.

Lesen Sie das Ergebnis und entscheiden Sie ohne opportunistische Geschichte

Behalten Sie Volumes, Ausschlüsse, Vorfälle und Methodengrenzen bei. Achten Sie auf Belichtungsunterschiede und Sammlungsunterbrechungen, bevor Sie eine Version auswählen. Ein positives Ergebnis berechtigt nicht dazu, eine verschlechterte Schutzmaßnahme außer Acht zu lassen.

Bereiten Sie drei mögliche Entscheidungen vor: nach den Kriterien übernehmen, das bisherige System beibehalten oder zu dem Schluss kommen, dass der Test keine Entscheidung zulässt. Wenn Sie eine Version bereitstellen, überprüfen Sie den Vorgang, nachdem Sie den Test beendet haben. Experimentelle Einstellungen, Caches und Skripte können von der endgültigen Version abweichen.

Auf einer Website mit geringem Traffic kann eine qualitative Beobachtung, ein Rezept zur Barrierefreiheit oder eine Inhaltsklärung nützlicher sein als ein langer Test ohne ausreichende Leistung. Machen Sie aus einem offensichtlichen Fehler kein Experiment, um dessen Korrektur hinauszuzögern. Der Test dient der echten Unsicherheit und einer machbaren Entscheidung.

Häufige Fragen

Wie lange sollte ein Test dauern?

Die Dauer hängt vom Datenbedarf, dem Datenverkehr, der Variabilität und der Analysemethode ab. Definieren Sie diese vor dem Start mit einer expliziten Endregel. Es gibt keinen universellen Zeitrahmen, der die Zuverlässigkeit beweist. Ein verstrichener Zeitraum löscht keine fehlerhafte Zuweisung oder inkonsistente Sammlung zwischen Varianten.

Können wir nur eine Taste testen?

Ja, wenn Sie eine Hypothese über sein Verständnis oder seine Rolle und ein korrekt gemessenes Ergebnis haben. Überprüfen Sie jedoch, ob die Versionen weiterhin mit dem Angebot übereinstimmen und zugänglich sind. Ein Farbwechsel ohne erkanntes Problem kann zu einem schwer interpretierbaren Vergleich führen und von einem konkreteren Hindernis im Verlauf ablenken.

Was ist zu tun, wenn die Ergebnisse ähnlich bleiben?

Wenden Sie die bereitgestellte Methode und Regel an und behalten Sie dann die Unsicherheit bei, wenn die Daten keine Entscheidung zulassen. Wählen Sie nicht nachträglich eine andere Kennzahl, um einen Gewinner zu ermitteln. Sie können die Grenzen des Geräts untersuchen und einen anderen Test vorbereiten, dieser muss jedoch von einer neuen, klar angekündigten Hypothese ausgehen.

Nächster Schritt: Validieren Sie das Protokoll

Bereiten Sie vor jeder Ausstellung eine Hypothese, ein vollständiges Blatt und Funktionsvarianten vor. Die 4SYSTEM Dienste kann dabei helfen, den Verlauf und die Messung festzulegen. Lassen Sie die statistische Analyse entsprechend Ihrer Fragestellung qualifizieren; Keine Schaltfläche „Test ausführen“ garantiert eine brauchbare Schlussfolgerung.

Quellen

• 5.3.3.2. Randomized block designs (abgerufen 2026-10-08)
• Cookies et traceurs : que dit la loi ? | CNIL (abgerufen 2026-10-08)
• Forms Tutorial | Web Accessibility Initiative (WAI) | W3C (abgerufen 2026-10-08)