Landingpage-A/B-Tests mit bezahltem Traffic durchführen

Mit A/B-Tests optimieren Sie Ihr Marketing, ein Element nach dem anderen. Sie lassen sich für alles einsetzen, von den Bildern Ihrer Display-Anzeigen bis zu den Texten Ihrer Blogbeiträge. Heute zeigen wir Ihnen, wie Sie die Ergebnisse von Landingpage-A/B-Tests nutzen, um Ihre Seiten zu verbessern und mehr Besucher zu einer Conversion zu bewegen.

Was ist ein A/B-Test?

A/B-Testing, auch „Split-Testing“ genannt, bedeutet im Grunde, zwei Versionen eines Inhalts zu erstellen, die sich in genau einem Punkt unterscheiden. Sie setzen beide Versionen gleichzeitig ein und vergleichen nach Ablauf des Testzeitraums die Ergebnisse, um festzustellen, welche effektiver war.

Nach Abschluss eines Tests können Sie die weniger effektive Variante verwerfen. Wenn Sie mit den Ergebnissen zufrieden sind, können Sie es dabei belassen. Möchten Sie weitere Varianten testen, können Sie den Test wiederholen, bis Sie die gewünschte Conversion-Rate erreichen.

Welche Kennzahlen kann ich mit A/B-Tests prüfen?

Mit Split-Tests vergleichen Sie, wie sich unterschiedlichste Änderungen an Ihren Landingpages auswirken. Sie sind eine praktische Möglichkeit, die Wirkung nahezu jeder Änderung zu überprüfen und fast jede relevante Kennzahl zu testen, darunter Conversions, Verkäufe und Anmeldungen über Formulare.

Wichtig ist, für jeden Test eine primäre Kennzahl festzulegen. Diese entscheidet über den Gewinner. So vermeiden Sie die Versuchung, nach Testende einfach die Zahl auszuwählen, die am besten aussieht. Soll Ihre Landingpage Anmeldungen für Ihren E-Mail-Verteiler generieren, sind diese Anmeldungen Ihre primäre Kennzahl.

Zusätzlich beobachten Sie zwei oder drei weitere Zahlen, sogenannte Guardrail-Kennzahlen. Eine Guardrail-Kennzahl darf sich nicht verschlechtern, während sich die primäre Kennzahl verbessert. Beispiele sind Formularabbrüche oder Rückerstattungsanfragen. Eine neue Überschrift, die die Anmeldungen um 10 % steigert, aber die Abmeldungen in der ersten Woche verdoppelt, ist kein echter Erfolg. Guardrail-Kennzahlen machen das sichtbar, bevor Sie die Änderung allgemein einführen.

Die wichtigsten Kennzahlen, die sich mit dieser Methode besonders einfach testen lassen, sind:

• Klickrate (CTR): der Anteil der Besucher, die auf Ihre Handlungsaufforderung klicken. Bei Anzeigen bedeutet Klickrate dagegen Klicks geteilt durch Impressionen. Geben Sie deshalb an, welche der beiden Definitionen Sie testen.
• Absprungrate: der Anteil der Sitzungen, die ohne Interaktion enden. In der klassischen Webanalyse galt jeder Besuch mit nur einem Seitenaufruf als Absprung. Google Analytics 4 zählt eine Sitzung als Absprung, wenn sie höchstens 10 Sekunden dauert, kein Schlüsselereignis enthält und nur einen Seitenaufruf umfasst. Unser Leitfaden zu Sitzungen, Nutzern und Seitenaufrufen erklärt, wie GA4 diese Einheiten jeweils zählt.
• Conversion-Rate: der Anteil der Besucher, die die von Ihnen gewünschte Aktion ausführen.
• Scrolltiefe: wie weit Besucher beim Lesen Ihrer Inhalte auf der Seite nach unten scrollen.
• Abbruchrate: der Anteil der Personen, die Ihre gewünschte Aktion beginnen, etwa ein Formular ausfüllen, sie aber nicht abschließen.
• Durchschnittlicher Bestellwert (AOV): der Gesamtumsatz geteilt durch die Anzahl der Bestellungen.
• Umsatz pro Besucher: der Gesamtumsatz geteilt durch die Anzahl aller Besucher, einschließlich derjenigen, die nichts gekauft haben.

Der durchschnittliche Bestellwert und der Umsatz pro Besucher können sich in entgegengesetzte Richtungen entwickeln. Wenn Sie auf einer Seite einen Rabatt entfernen, kann der durchschnittliche Bestellwert steigen, während weniger Besucher kaufen. Ist Ihr Ziel der Verkauf, ist der Umsatz pro Besucher deshalb die verlässlichere Kennzahl.

Welche Variablen kann ich mit A/B-Tests optimieren?

Das Gute an A/B-Tests: Sie können damit nahezu jedes Element Ihrer Landingpages testen. Vielleicht möchten Sie die Auswirkungen eines technischen Aspekts wie der Ladezeiten untersuchen oder ein kleines Detail wie die Sichtbarkeit Ihres Call-to-Action-Buttons. Die Farbe selbst ist dabei weniger wichtig als der Kontrast. Ein Button, der sich kaum von der Seite abhebt, wird unabhängig von seiner Farbe leicht übersehen. Ein Test von Kontrast oder Größe sagt daher meist mehr aus als ein Vergleich von Orange und Blau.

Wichtig ist, bei jeder Variante der Seite nur eine einzige Variable zu testen. So können Sie belastbare Schlüsse über deren Wirkung ziehen, ohne dass unklar bleibt, welche Änderung welches Ergebnis verursacht hat.

Warum Landingpages mit bezahltem Traffic testen?

Sie können durchaus erfolgreiche A/B-Testreihen auf Ihren Landingpages mit organischem Traffic durchführen. Bezahlte Quellen wie Anzeigen bieten jedoch einige klare Vorteile:

• Zeit: Organischen Traffic aufzubauen ist meist ein langsamer, stetiger Prozess. Mit bezahltem Traffic können Sie nahezu sofort Daten sammeln und Ihre Hypothese deutlich schneller überprüfen.
• Kontrolle: Bei bezahlten Kampagnen bestimmen Sie, wie viele Besucher täglich auf Ihre Seite kommen, wann der Test beginnt und endet und wie viel er kostet. Außerdem können Sie das Targeting über den gesamten Test hinweg unverändert lassen. So unterscheidet sich zwischen Version A und Version B nur die Seite selbst. Die 50/50-Aufteilung zwischen den Versionen richten Sie auf Ihrer eigenen Website ein, wie in Schritt 5 erklärt. Die Werbeplattform allein kann diese Aufteilung nicht garantieren.
• Segmentierung: Mit bezahlter Werbung legen Sie anhand von Standort, Gerät und Interessen fest, wer Ihre Anzeigen sieht. Die Besucher in Ihrem Test entsprechen dadurch dem Markt, den Sie erreichen möchten. Das Ergebnis ist somit für Ihre gewünschten Kunden relevanter. Es gilt allerdings nur für diese Zielgruppe. Eine Seite, die bei mobilen Besuchern in einem Land gewinnt, muss bei Suchenden am Desktop in einem anderen Land nicht ebenfalls gewinnen.

SparkTraffic ist eine Werbeplattform, die Ihre Anzeigen auf den Websites von Publisher-Partnern ausspielt und genau diese Art von Kontrolle ermöglicht. Sie wählen für Ihre Kampagne Länder, Städte und Geräte aus und legen ein Tages- oder Monatsbudget fest. So bleiben die Zielgruppenzusammensetzung und die Besucherzahl während des gesamten Tests stabil. Wenn Sie diesen geografisch ausgerichteten Website-Traffic an eine einzige Kampagnen-URL leiten und auf Ihrer eigenen Website aufteilen, erhalten beide Seitenversionen die gleiche Art von Besuchern. Das ist die Voraussetzung für einen fairen A/B-Test.

Kurz gesagt: Wenn Sie den Traffic für Ihre Split-Tests mit bezahlten Anzeigen generieren, erhalten Sie schneller relevantere Ergebnisse.

So führen Sie einen Landingpage-A/B-Test mit bezahltem Traffic durch

Eine Landingpage soll Besucher nach dem Klick auf einen Link zu einer bestimmten Aktion führen. Besucher können diese Landingpage auf unterschiedlichen Wegen entdecken: beim Scrollen in sozialen Medien, über eine Suche, durch eine KI-Empfehlung oder, wie in unserem heutigen Beispiel, durch den Klick auf eine Anzeige.

Ein A/B-Test soll Ihre Landingpage verbessern. Dazu erstellen Sie zwei leicht unterschiedliche Versionen und sammeln genügend Daten, um festzustellen, ob der Unterschied zwischen ihnen statistisch signifikant ist. Sie müssen also warten, bis ausreichend Belege dafür vorliegen, dass die bessere Version ihre Ergebnisse tatsächlich aufgrund dieser Änderungen erzielt.

In einzelne Schritte aufgeteilt sieht der Ablauf etwa so aus:

Schritt 1: Primäre Kennzahl wählen

A/B-Tests funktionieren besser, wenn Sie von Anfang an ein klares Ziel festlegen, statt allgemein „bessere Ergebnisse“ anzustreben. Wählen Sie deshalb am besten eine einzelne, geschäftlich relevante Kennzahl, etwa die Klickrate, Anmeldungen oder Verkäufe.

Das ist Ihre „primäre Kennzahl“, die den zentralen Vergleichspunkt für Ihre Ergebnisse bildet. Sie wird nicht die einzige relevante Erkenntnis liefern, aber die wichtigste.

Schritt 2: Hypothese formulieren

Da A/B-Testing ein vergleichsweise wissenschaftlicher Ansatz zur Bewertung Ihrer Landingpages ist, brauchen Sie eine Hypothese, die Sie überprüfen können. Diese sollte sich direkt auf die Kennzahl beziehen, die Sie verbessern möchten. Zum Beispiel: „Weniger Felder im Anmeldeformular führen zu mehr Anmeldungen für den E-Mail-Verteiler“ oder „Eine nutzenorientierte statt einer allgemeinen H1-Überschrift steigert die Verkäufe“.

Schritt 3: Variable isolieren

Die Variable ist die Änderung, die Sie testen. Damit die gesammelten Daten eindeutig und aussagekräftig sind, sollten Sie pro Test nur ein Element verändern. Weitere Annahmen können Sie später jederzeit in einem neuen Test überprüfen.

Als Variable kommt nahezu jedes Element Ihrer Landingpage infrage. Häufig getestet werden beispielsweise:

• Hero-Bild: das Banner ganz oben auf Ihrer Seite, das Besucher als Erstes sehen
• H1: der erste Text, den Besucher lesen
• Layout: die Gestaltung und Anordnung der Seite
• CTA-Position: die Stelle auf der Seite, an der sich die Handlungsaufforderung befindet
• CTA-Formulierung: wie die Handlungsaufforderung für Besucher formuliert ist
• Formularumfang: die Anzahl der Felder, die ausgefüllt werden müssen
• Text: die Texte auf Ihrer Seite
• Ladezeit: ob schnelleres Laden zu mehr Conversions führt

Natürlich können Sie jedes Element Ihrer Seite einem A/B-Test unterziehen. Die oben genannten Elemente dürften jedoch den größten Einfluss haben und am einfachsten klare Schlussfolgerungen ermöglichen.

Schritt 4: Seiten vorbereiten

Bevor Sie Traffic generieren und den Test starten können, müssen Sie Ihre Seiten vorbereiten. Für die meisten Landingpage-Tests eignen sich zwei Versionen am besten. Jede zusätzliche Version teilt Ihren Traffic weiter auf. Ein Test mit drei Versionen benötigt daher insgesamt mindestens 50 % mehr Besucher als ein Test mit zwei Versionen. Der gleichzeitige Vergleich mehrerer Versionen erhöht außerdem das Risiko, fälschlich einen Gewinner zu ermitteln.

Wenn Ihr Traffic ausreicht, können Sie dennoch einen A/B/n-Test mit drei oder vier Versionen durchführen. In jedem Fall sollte sich jede Version nur in einem Element von der Kontrollversion unterscheiden. Möchten Sie mehrere Elemente gemeinsam testen, ist das eine andere Methode: multivariates Testing.

Ihre bestehende Seite ist die Version „A“. Sie dient als Kontrollversion und legt den Ausgangswert fest. Die Version mit der einzelnen Änderung ist „B“ und ermöglicht es Ihnen, Ihre Hypothese zu überprüfen.

Schritt 5: Bezahlten Traffic einrichten

Die meisten Werbeplattformen für bezahlte Anzeigen bieten integrierte Testfunktionen. Diese sind jedoch für den Vergleich von Anzeigen und Kampagnen ausgelegt, nicht von Landingpages. In Google Ads teilt ein Kampagnentest beispielsweise Ihr Budget zwischen einer ursprünglichen Kampagne und einer Testkampagne auf. Das eignet sich zum Testen von Geboten oder Anzeigentexten, garantiert aber nicht, dass Ihre beiden Landingpages gleich viele oder vergleichbare Besucher erhalten.

Der Grund: Werbeplattformen optimieren die Auslieferung. Wenn zwei Anzeigen auf zwei unterschiedliche Seiten verweisen, entscheidet der Algorithmus der Plattform, wer welche Anzeige sieht. Jede Anzeige wird den Personen gezeigt, bei denen er eine Reaktion erwartet. In der Forschung nennt man das divergierende Auslieferung. Eine Studie von Braun und Schwartz im Journal of Marketing aus dem Jahr 2025 ergab, dass dies die Größe des gemessenen Effekts eines Anzeigentests verzerren und sogar seine Richtung umkehren kann.

Der sicherere Aufbau besteht darin, alle bezahlten Besucher an eine einzige Kampagnen-URL zu leiten und sie auf Ihrer eigenen Website aufzuteilen. Ein Testskript oder eine serverseitige Regel weist jeden Besucher zufällig Version A oder Version B zu, im Verhältnis 50/50. Dieselbe Regel speichert die Zuweisung in einem First-Party-Cookie, damit wiederkehrende Besucher immer dieselbe Version sehen. Ohne diese Zuordnung kann eine Person beide Versionen sehen. Ihr Verhalten fließt dann in beide Gruppen ein und verwischt den Unterschied, den Sie messen möchten.
Falls Ihr Aufbau zwei getrennte Kampagnen erfordert, verwenden Sie identisches Targeting, dieselbe Startzeit und dasselbe Tageslimit. Vergleichen Sie die Geräte- und Standortverteilung beider Gruppen, bevor Sie Ergebnisse auswerten. Hat eine Gruppe deutlich mehr mobile Besucher als die andere, ist der Vergleich nicht fair.

Wie viel Traffic sollte ich kaufen?

Es gibt keine feste Besucherzahl, die einen Test aussagekräftig macht. Die benötigte Anzahl hängt von vier Faktoren ab. Der erste ist Ihre aktuelle Conversion-Rate, also wie häufig die Kontrollseite derzeit zu einer Conversion führt. Der zweite ist die kleinste Steigerung, die Sie erkennen möchten. Der dritte und vierte sind das Signifikanzniveau und die statistische Teststärke. Die meisten Teams arbeiten mit einem Konfidenzniveau von 95 % und einer Teststärke von 80 %.

So sehen die Zahlen für eine Seite mit einer Conversion-Rate von 4 % aus: Um eine Steigerung um 20 % (von 4,0 % auf 4,8 %) nachzuweisen, benötigen Sie etwa 10.300 Besucher pro Variante. Für eine Steigerung um 10 % (von 4,0 % auf 4,4 %) sind etwa 39.500 Besucher pro Variante nötig, also fast viermal so viele. Eine Seite mit einer Conversion-Rate von 2 % benötigt etwa 80.700 Besucher pro Variante, um eine Steigerung um 10 % nachzuweisen. Bei einer Conversion-Rate von 10 % sind es etwa 14.800.

Die Laufzeit ändert diese Zahlen nicht. Ein Test, der in 14 Tagen 10.300 Besucher pro Variante erreicht, ist genauso zuverlässig wie einer, der dafür 30 Tage benötigt, solange beide vollständige Wochen abdecken. Sie können die Stichprobengröße vor dem Start in ein Budget umrechnen: Besucher pro Variante × 2 × Kosten pro Besuch. Bei beispielhaften Kosten von $0.50 pro Besuch kostet der oben beschriebene Test auf eine Steigerung um 20 % etwa $10,300.

Falls dieses Budget zu hoch ist, haben Sie zwei seriöse Möglichkeiten. Sie können eine deutlichere Änderung testen, denn größere Steigerungen erfordern wesentlich weniger Besucher. Oder Sie wählen eine primäre Kennzahl mit einem höheren Ausgangswert, etwa die Interaktionsrate: Bei rund 50 % reichen 1.000 Besucher pro Variante aus, um einen Unterschied von etwa 6 Prozentpunkten nachzuweisen. Die Methode hinter diesen Zahlen heißt Bestimmung der Stichprobengröße. Kostenlose Online-Rechner übernehmen die Berechnung für Sie.

Schritt 6: Test durchführen

Bevor der erste Besucher eintrifft, legen Sie die Stichprobengröße aus dem vorherigen Schritt und die dafür erforderliche Laufzeit fest. Wir empfehlen ganze Wochen (7, 14, 21 oder 28 Tage), damit jeder Wochentag in beiden Varianten gleich häufig vorkommt. Warten Sie anschließend bis zum Ende des Tests, bevor Sie eine Entscheidung treffen.

Der Grund: Zufällige Schwankungen sind zu Beginn eines Tests am größten. Wenn Sie die Ergebnisse täglich prüfen und den Test beenden, sobald eine Variante erstmals signifikant besser erscheint, steigt Ihre tatsächliche Rate falsch positiver Ergebnisse weit über die geplanten 5 %. In der Statistik heißt das optionales Stoppen, im Marketing wird häufig von „Peeking“ gesprochen.

Ein fester Plan kann den Zufall nicht ausschalten, hält aber das Risiko eines fälschlich ermittelten Gewinners auf dem von Ihnen gewählten Niveau. Außerdem schützt er Ihre Daten vor kurzfristigen Verzerrungen wie:

• Mustern nach Tageszeit und Wochentag
• Einigen besonders aktiven Nutzern, die die Seite häufig besuchen
• Einmaligen Ereignissen, etwa einer Rabattaktion eines Wettbewerbers oder einer Nachrichtenmeldung

Wenn Sie vor dem vollständigen Abschluss des Tests einen „Gewinner“ auswählen, nur weil er in der Anfangsphase besser abzuschneiden scheint, riskieren Sie, ein falsch positives Ergebnis umzusetzen und Ihre Ergebnisse langfristig zu beeinträchtigen.

Was einen „fairen“ Test ausmacht, unterscheidet sich von Fall zu Fall. Grundsätzlich müssen Sie ihn jedoch lange genug und mit ausreichend Besuchern durchführen, damit Ihre Ergebnisse statistische Signifikanz erreichen. Die vor dem Start berechnete Stichprobengröße zeigt Ihnen, was „lange genug“ und „ausreichend Besucher“ für Ihren Test bedeuten.

Schritt 7: Ergebnisse auswerten und Gewinner umsetzen

Sobald Ihr Test die vorgesehene Laufzeit erreicht hat, können Sie die Ergebnisse auswerten. Dabei geht es um zwei Dinge: Erstens prüfen Sie, ob Ihre Hypothese richtig war und sich Ihre primäre Kennzahl durch die Änderung der gewählten Variable verbessert hat. Zweitens betrachten Sie Ihre übrigen Kennzahlen, um unbeabsichtigte Folgen zu erkennen.

Wenn sich Ihre primäre Kennzahl statistisch signifikant verbessert hat und Ihre Kontrollkennzahlen nicht schlechter geworden sind, war Ihr Test erfolgreich. Sie können die ursprüngliche Seite durch die neue Variante ersetzen. War der Effekt negativ, behalten Sie die Kontrollvariante bei und verwerfen die neue Version. Ist der Unterschied in keiner Richtung signifikant, liefert der Test kein eindeutiges Ergebnis. Die Änderung hat bei dieser Stichprobengröße keinen messbaren Unterschied bewirkt. Die Kontrollvariante beizubehalten ist dann meist die günstigere Wahl.

Wenn sich Ihre primäre Kennzahl verbessert hat, aber auch andere wichtige Kennzahlen beeinflusst wurden, müssen Sie abwägen, welche Variante Ihrer Landingpage Sie am besten einsetzen. Bewerten Sie die Auswirkungen sorgfältig und ziehen Sie weitere Tests in Betracht, um Ihre Seite weiter zu optimieren.

Ergebnisse auswerten

Es mag verlockend sein, eine Seitenvariante allein deshalb zum „Gewinner“ zu erklären, weil Ihre gewählte primäre Kennzahl gestiegen ist. Denken Sie jedoch daran, dass es keine „perfekte“ Landingpage gibt und wir im digitalen Marketing immer mit statistischen Größen arbeiten: Entscheidend ist der Anteil der Menschen, die nach dem Kontakt mit unseren Inhalten die gewünschte Handlung ausführen.

Bei einem A/B-Test suchen wir nach detaillierten Informationen, mit denen wir fundierte Entscheidungen treffen können. Je detaillierter Ihre Berichte sind, desto besser.

Um unsere Ergebnisse genauer zu verstehen, müssen wir uns also mit Mathematik beschäftigen. Keine Sorge: Es gibt Tools, die dabei helfen!

Statistische Signifikanz

Um einen Gewinner zu bestimmen, müssen Sie wissen, ob der Abstand zwischen Ihren beiden Seiten einen echten Unterschied widerspiegelt oder lediglich zufällige Schwankungen in der Zusammensetzung der Besucher. Vollständige Sicherheit gibt es nie. Deshalb wird in der Statistik mit einem Hypothesentest gemessen, wie überraschend Ihr Ergebnis wäre, wenn die Änderung keinen Effekt hätte.

Der Test geht von der Nullhypothese aus, also der Annahme, dass Variante B genau so abschneidet wie Variante A. Conversions folgen einer Binomialverteilung, da jeder Besucher entweder konvertiert oder nicht. Dieses Modell zeigt dem Test, wie stark die Conversion-Rate allein durch Zufall schwanken würde. Für Conversion-Raten verwendet man üblicherweise einen Z-Test für zwei Anteilswerte oder einen Chi-Quadrat-Test. Jeder Signifikanzrechner führt diese Berechnung für Sie durch.

Der Test liefert einen p-Wert: die Wahrscheinlichkeit, einen mindestens so großen Unterschied wie den beobachteten zu sehen, wenn die Änderung tatsächlich keinen Unterschied bewirkt hätte. Er gibt nicht die Wahrscheinlichkeit an, dass Ihre Änderung funktioniert hat, und sagt nichts über die Größe der Verbesserung aus. Ein p-Wert von 0,03 bedeutet, dass ein mindestens so großer Abstand bei etwa 3 von 100 Tests mit zwei identischen Seiten auftreten würde.

Die meisten Teams legen den Schwellenwert vor Testbeginn auf 0,05 (5 %) fest und bezeichnen das Ergebnis als statistisch signifikant, wenn der p-Wert darunter liegt. Diesen Schwellenwert vorab festzulegen ist wichtig: Wird er erst nach Sichtung der Daten gewählt, lässt er sich an das erhoffte Ergebnis anpassen. Bei einer weitreichenden Entscheidung, etwa einem vollständigen Website-Redesign, bietet ein strengerer Schwellenwert von 0,01 zusätzlichen Schutz vor einem fälschlich ermittelten Gewinner.

Stichprobengröße und Laufzeit

Beides sollte bereits zu Beginn des Testprozesses festgelegt worden sein. Dennoch lohnt es sich, diese Werte bei der Auswertung erneut zu prüfen. Es gibt Tools, die Ihnen helfen, die erforderliche Stichprobengröße und Laufzeit zu bestimmen, um statistisch signifikante Ergebnisse zu erreichen.

Grundsätzlich gilt: Je länger Ihr Test läuft und je mehr Menschen daran teilnehmen, desto sicherer können Sie sein, dass festgestellte Verbesserungen langfristig Bestand haben. Natürlich gibt es Grenzen: Kein Marketingteam hat unbegrenzt Zeit oder Budget, um Website-Traffic zu kaufen. Deshalb ist es wichtig, realistische Werte festzulegen und zu überprüfen.

Prüfen Sie bei der Betrachtung Ihrer Stichprobengrößen auch, ob jede Variante den geplanten Besucheranteil erhalten hat. Wenn Sie eine 50/50-Aufteilung festgelegt haben und eine Variante 5.400 Besucher erhält, die andere aber nur 4.600, liegt ein Fehler im Testaufbau vor und nicht einfach Pech. Dieses Problem heißt Abweichung vom geplanten Stichprobenverhältnis. Ein einfacher Chi-Quadrat-Test bestätigt es.

Eine Abweichung vom geplanten Stichprobenverhältnis entsteht meist durch den Testaufbau, nicht durch die Traffic-Quelle. Typische Ursachen sind eine Weiterleitung, bei der einige Besucher verloren gehen, ein Tracking-Tag, das bei einer Variante nicht ausgelöst wird, oder eine Bot-Filterung, die aus einer Gruppe mehr Besuche entfernt. Fällt diese Prüfung negativ aus, sind die Ergebnisse nicht verlässlich. Dann müssen Sie die Ursache finden und den Test erneut durchführen. Falls Sie automatisierte Besuche hinter dem Ungleichgewicht vermuten, zeigt unser Leitfaden zum Erkennen von Bot-Traffic, welche Signale Sie zwischen den Varianten vergleichen sollten.

Eine zweite prüfende Person macht diese Kontrolle zuverlässiger. Ein Kollege mit Viewer-Zugriff (Lesezugriff) auf Ihre GA4-Property kann die Aufteilung und die Schlüsselereignisse unabhängig bestätigen, ohne Einstellungen ändern zu können. Unser Leitfaden zum Hinzufügen von Nutzern in Google Analytics zeigt, welche Rolle sich für diese Prüfung eignet und wie Sie sie sicher vergeben.

Externe Faktoren bewerten

Leider ist das Internet keine sterile Testumgebung. Externe Faktoren werden Ihre Ergebnisse wahrscheinlich beeinflussen. Bezahlter Traffic kann helfen, diese möglichen statistischen Verzerrungen zu minimieren, sie aber nicht vollständig ausschließen.

Dazu können verschiedenste Einflüsse gehören: saisonale Verhaltensänderungen, etwa eine höhere Offenheit für E-Commerce-Anzeigen rund um die Feiertage, oder andere Marketingkampagnen, die Sie parallel durchführen. Auch technische Probleme, beispielsweise eine etwas längere Ladezeit einer der Seiten, können Ihre Ergebnisse überraschend stark beeinflussen. Wenn niemand lange genug wartet, um Ihre Testvariable zu sehen, können Sie diese nicht wirklich testen.

Diese Faktoren machen Ihre Ergebnisse nicht ungültig. Sie sollten sie jedoch sorgfältig berücksichtigen, bevor Sie die Erkenntnisse umsetzen.

Zielgruppensegmentierung

Wenn Sie einen neuen Markt vor dem Start testen möchten, trennen Sie den geografischen Pilot vom Seitenexperiment: Der Pilot prüft das Angebot in einer neuen Region, während ein A/B-Test vergleichbare Besucher zufällig auf Seitenvarianten verteilt. Unterschiede zwischen Ländern isolieren nicht die Wirkung einer geänderten Landingpage.

Aus Ihren A/B-Tests können Sie zentrale Ergebnisse wie „5 % mehr Anmeldungen“ ableiten. Sie können aber auch untersuchen, wie unterschiedliche Besuchergruppen reagiert haben. Das ist bei bezahltem Traffic besonders nützlich, da Sie die Zielgruppe ausgewählt haben und Ihre Webanalyse für jeden Besucher Gerät, Standort und Traffic-Quelle erfasst.

Es ist verlockend, die Ergebnisse nach allen verfügbaren Dimensionen aufzuschlüsseln, etwa Gerät, Browser, Land, Alter und Geschlecht. Das Problem: Jede Aufschlüsselung bietet dem Zufall eine weitere Chance, einen falschen Gewinner hervorzubringen. Wenn Sie 10 Segmente bei einem Schwellenwert von 5 % testen, liegt die Wahrscheinlichkeit, dass mindestens eines allein durch Zufall einen „signifikanten“ Unterschied zeigt, bei etwa 40 %. Dieser Fallstrick ist als Problem multipler Vergleiche bekannt. Jedes Segment enthält zudem nur einen Teil Ihrer Stichprobe, weshalb seine Zahlen weniger zuverlässig sind.

Hilfreich ist auch, Segmente aus Ihren eigenen Analysedaten zu erstellen, statt Profile von Werbenetzwerken zu verwenden. Profile auf Basis von Drittanbieter-Cookies sind unvollständig, weil mehrere große Browser diese Cookies standardmäßig blockieren und Einwilligungsbanner die Zahl der messbaren Besuche reduzieren.

In der Praxis sollten Sie vor Testbeginn ein oder zwei Segmente festlegen. Für die meisten Landingpages ist der Gerätetyp die sinnvollste Wahl. Wenn Sie beispielsweise einen Vergleich zwischen Mobilgeräten und Desktop geplant haben und Desktop-Besucher auf Variante B wesentlich häufiger konvertieren, haben Sie eine belastbare Erkenntnis, auf deren Grundlage Sie handeln können. Jedes Muster, das Sie in einem nicht vorab geplanten Segment entdecken, ist eine Hypothese für Ihren nächsten Test, kein Ergebnis.

Ausreißer berücksichtigen

Je nach gewählter Kennzahl können wenige ungewöhnliche Ergebnisse Ihre Daten verzerren. Umsatz ist das klassische Beispiel: Ein einzelner großer Einkauf auf Variante B kann sie wie den Gewinner aussehen lassen, selbst wenn die meisten ihrer Besucher überhaupt nichts gekauft haben.

Die einfachste Lösung ist das Begrenzen von Werten, auch Winsorisierung genannt. Sie wählen eine Obergrenze, etwa das 99. Perzentil der Bestellwerte, und ersetzen jeden darüberliegenden Wert durch diese Grenze. Liegen beispielsweise 99 % der Bestellungen unter $400, wird eine Bestellung über $5,000 mit $400 berücksichtigt. Jeder Besucher bleibt im Datensatz, auch diejenigen, die nichts ausgegeben haben. So können Sie den durchschnittlichen Umsatz pro Besucher weiterhin fair vergleichen.

Das Begrenzen funktioniert besser als das Trimmen, bei dem die höchsten und niedrigsten Werte gelöscht werden. Bei Umsatzdaten stammen die niedrigsten Werte meist von Besuchern, die nichts ausgegeben haben. Sie zu löschen erhöht daher künstlich den Durchschnitt und blendet die Menschen aus, die nichts gekauft haben.

Manche Analysten verwenden stattdessen den Mann-Whitney-U-Test. Er führt die Ergebnisse beider Seiten zusammen, ordnet ihnen Ränge zu und prüft, ob eine Gruppe tendenziell höhere Werte erzielt. Dafür müssen die Gruppen nicht gleich groß sein. Allerdings beantwortet er eine andere Frage als „Welche Seite erzielt mehr Umsatz pro Besucher?“ und stößt an Grenzen, wenn die meisten Werte null sind. Für die meisten Landingpage-Tests ist es einfacher und näher an Ihrer geschäftlichen Entscheidung, die Werte zu begrenzen und anschließend die Durchschnittswerte zu vergleichen.

Fazit: Warum bezahlter Traffic für A/B-Tests Ihrer Landingpages sinnvoll ist

Es ist eine alte Binsenweisheit, dass es immer Raum für Verbesserungen gibt. Ihre Landingpages bilden da keine Ausnahme. Auch wenn Ihre bestehenden Seiten bereits hervorragende Ergebnisse liefern, könnten Sie immer noch mehr erreichen.

Mit A/B-Tests können Sie Änderungen ausprobieren und belastbare statistische Daten zu ihren Auswirkungen sammeln, bevor Sie sie endgültig umsetzen. Schon mit wenigen Tests können Sie Ihre Ergebnisse deutlich verbessern, ohne Fehler zu riskieren, die sich nur schwer rückgängig machen lassen.

Sie könnten zwar auf Suchmaschinenoptimierung (SEO) oder andere Methoden zur Traffic-Generierung setzen, doch bezahlte Anzeigen bieten einige Vorteile.

• Sie können vom ersten Tag an die Zielgruppe Ihrer Website gezielt ansprechen, nach Standort, Gerät und Interessen. So bildet der Test genau die Zielgruppe ab, die Sie gewinnen möchten.
• Sie bestimmen das Volumen, den Zeitpunkt und das Targeting jedes Besuchs. So werden beide Varianten mit derselben Zielgruppe unter denselben Bedingungen getestet. Eine zufällige Aufteilung auf Ihrer eigenen Website sorgt anschließend für einen fairen Vergleich.
• Ihr Test kann nahezu sofort beginnen. Sobald die Anzeigen ausgespielt werden, kommen schnell Besucher auf Ihre Website. So erreichen Sie Ihre geplante Stichprobengröße wesentlich früher, als wenn Sie auf organischen Traffic warten würden.
• Wenn Sie Ihre Kampagne mit UTM-Parametern kennzeichnen, können Sie ausschließlich die Besucher analysieren, die über Ihren Test gekommen sind. So verfälschen organische, direkte und wiederkehrende Besucher die Ergebnisse nicht.
• Da Sie das Traffic-Volumen über Ihre Anzeigenplattform steuern, können Sie den Test beenden, sobald jede Seite die gewünschte Besucherzahl erreicht hat.

Für präzise, kontrollierte A/B-Tests, die zeigen, welche Änderungen zu mehr Conversions führen, ist bezahlter Traffic kaum zu schlagen.