Ein Holdout-Test ist ein Experiment, bei dem ein Teil der Zielgruppe bewusst von einer Marketingmaßnahme ausgenommen wird, um deren tatsächliche Wirkung zu messen. Diese ausgenommene Gruppe dient als Kontrollgruppe. Der Vergleich zwischen beworbener und nicht beworbener Gruppe zeigt den inkrementellen Effekt der Maßnahme.
Wie funktioniert ein Holdout-Test?
Beim Holdout-Test wird die Zielgruppe zufällig in zwei Gruppen aufgeteilt. Die Testgruppe erhält die Werbung, die Holdout- oder Kontrollgruppe nicht. Da beide Gruppen ansonsten vergleichbar sind, lässt sich der Unterschied in Conversions oder Umsatz direkt auf die Maßnahme zurückführen.
Die zufällige Zuteilung ist entscheidend, denn nur so sind die Gruppen strukturell gleich und Verzerrungen ausgeschlossen. Wird stattdessen nach anderen Merkmalen getrennt, etwa nach Region oder Kaufverhalten, können systematische Unterschiede das Ergebnis verfälschen.
Nach Ablauf des Testzeitraums vergleicht man die Zielgröße beider Gruppen. Ist die Testgruppe messbar erfolgreicher, wirkt die Maßnahme. Zeigt sich kein signifikanter Unterschied, liefert die Werbung keinen nachweisbaren Zusatznutzen, oder die Datenmenge reicht für eine belastbare Aussage nicht aus. Deshalb sollten Zielgröße und Auswertungsmethode bereits vor dem Start feststehen, damit das Ergebnis nicht nachträglich schöngerechnet wird.
Warum ist ein Holdout-Test wichtig?
Der Holdout-Test ist die direkteste Methode, um Inkrementalität nachzuweisen. Er beantwortet die zentrale Frage, ob eine Kampagne echtes Zusatzgeschäft erzeugt oder überwiegend Käufe einsammelt, die ohnehin stattgefunden hätten. Damit schützt er vor Fehlschlüssen aus reinen Klick- und Conversion-Zahlen.
Für Werbetreibende bedeutet das eine solidere Grundlage für Budgetentscheidungen. Statt sich auf zugeschriebene Conversions zu verlassen, sehen sie den kausalen Beitrag eines Kanals. Gerade bei kostspieligen Kampagnen rechtfertigt der kurzfristige Verzicht auf die Kontrollgruppe den Erkenntnisgewinn über die tatsächliche Wirkung.
Holdout-Test in der Praxis
Ein aussagekräftiger Holdout-Test braucht eine ausreichend große Stichprobe und einen sinnvoll gewählten Zeitraum, der auch verzögerte Effekte erfasst. Bei zu kleinen Gruppen oder zu kurzen Laufzeiten bleiben die Ergebnisse zufällig und lassen keine belastbaren Schlüsse zu.
Manche Werbeplattformen bieten Holdout-Tests als Funktion an und bilden die Kontrollgruppe automatisch. Alternativ lassen sich Tests über Regionen oder Zeiträume aufsetzen. Wichtig ist, den Test vorab sauber zu planen: Zielgröße, Gruppengröße, Laufzeit und Auswertungslogik sollten feststehen, bevor die Kampagne startet, damit das Ergebnis nicht nachträglich interpretiert werden muss.