• Facebook
  • Google+
  • Twitter
  • XING

Test ist nicht gleich Test: Wann Multivariates Testing zwingend notwendig wird

Digitaler Wachstumsmotor Mittelstand
Coloures-pic_@fotolia.com

Testingmethoden gibt es wie Sand am Meer. Das macht es zuweilen schwer, einen Überblick über Funktion und Zweck einzelner Methoden zu erhalten. Im Folgenden erfahren Sie, wann ein simples A/B- (oder Split-)Testing für eine Kampagne nicht mehr ausreicht und zwingend ein Multivariates Testing (MVT) zur Optimierung der Website eingesetzt werden muss. 

Alles auf Anfang: Was ist A/B- und Multivariates Testing eigentlich?

Für ein besseres Verständnis der beiden Methoden müssen zunächst einmal einige Grundbegriffe geklärt werden: Jede Webseite besteht aus mehreren Elementen. Im Beispielfall sehen Sie eine typische Landingpage. Die Webseite besteht aus einem Navigationsmenü (oben), einem Banner direkt unter dem Menü (hier wird mit kostenlosem Versand geworben) sowie einem großen rotierenden Banner, dem sogenannten Hero Banner, im sichtbaren Bereich („above the fold“).

Digitaler Wachstumsmotor Mittelstand
Eine typische Landingpage mit Navigationsleiste und verschiedenen Bannern.

Mit einem Testing-Tool wie dem Visual Campaign Builder (VCB) von Maxymiser können Sie ganz einfach den Bereich auswählen, der auf der jeweiligen Website als separates Element behandelt werden soll. Anschließend haben Sie die Möglichkeit, verschiedene Varianten für das ausgewählte Element zu definieren (also Alternativen zur Standardvariante zu erstellen, die später auf der Website dargestellt werden). Die Gesamtheit der Inhalte, die dem individuellen Besucher angezeigt wird, bezeichnet man als Experience.

Die Gesamtheit aller Elemente bildet die Experience einer Seite.

Zusammenfassend lässt sich also sagen: Jede Einzelseite oder Seitengruppe (wie beispielsweise die Seiten eines Conversion Funnels) bildet eine Experience. Jede Experience kann in verschiedene Elemente unterteilt werden. Und für jedes Element lassen sich verschiedene Varianten erstellen, die sich mit der Standardvariante, also dem Ausgangslayout der Website(s), vergleichen lassen. So ergeben sich zwei grundlegende Testingmethoden – das A/B-Testing sowie das Multivariate Testing.

  • A/B-Testing vergleicht verschiedene Experiences mit einer Standardvariante; über die zugrunde liegenden Elemente gibt der Test keine Auskunft.
  • Multivariates Testing vergleicht verschiedene Elemente und Experiences mit einer Standardvariante; die Testingergebnisse beziehen sich in diesem Fall auf die Einzelelemente sowie die Experiences.

A/B- oder Multivariates Testing: Welches ist der richtige Test?

Als Entscheidungshilfe für die Auswahl der geeigneten Testingmethode hilft es, die zwei folgenden Fragen zu beantworten:

Frage 1: Soll Ihre Seite ein komplett neues Layout bekommen oder möchten Sie sie lieber Schritt für Schritt verändern?

Je nach Situation soll Ihre Seite möglicherweise radikal verändert werden, etwa im Zuge einer umfassenden Neugestaltung. In diesem Fall gilt es, herauszufinden, welche Auswirkungen die Summe der geplanten Änderungen auf das Ergebnis haben werden. Trifft dies zu, sind die einzelnen Elemente nicht Ihr Hauptanliegen. Vielmehr möchten Sie so schnell wie möglich die Experience mit der besten Performance ermitteln (und – ebenso wichtig – die Experience, die bei Ihren Kunden am wenigsten ankommt).

In diesem Fall ist ein einfacher A/B-Test die Methode der Wahl.

Andererseits ist es aber auch möglich, dass Sie Ihre Änderungen schrittweise durchführen. Oft benötigen Sie dabei nicht nur Informationen über die Performance der einzelnen Experiences, sondern auch darüber, welchen Effekt die einzelnen Elemente haben. Sie wollen zum Beispiel herausfinden, ob Sie die obere Navigationsleiste auffälliger gestalten müssen. Vielleicht wäre es besser sie auf der linken Seite platzieren? Oder Sie blenden die Angebote, die erst beim Scrollen zu sehen sind, größer und in geringerer Zahl ein? Vielleicht kommen andere Hero-Banner sogar besser an als die aktuellen Versionen?

Manchmal ist es besser, Änderungen Schritt für Schritt durchzuführen und zu testen. Doch welche Testmethode eignet sich dafür am besten?

Natürlich lässt sich jede dieser Fragen mit einem separaten A/B-Test beantworten: ein Test für die Darstellung und Platzierung des oberen Navigationsmenüs, ein Test für die Angebote „below the fold“ und ein weiterer Test für den Hero-Banner. Doch das führt zu folgendem Problem: Sollen diese Tests gleichzeitig oder einer nach dem anderen durchgeführt werden? Tests nacheinander durchzuführen ist eine riskante Methode, die als Wave-Testing bezeichnet wird. Riskant deshalb, weil Tests, die zu unterschiedlichen Zeitpunkten durchgeführt werden, zu verfälschten Ergebnissen führen können. Wenn Sie die Tests aber gleichzeitig laufen lassen, müssen Sie sicherstellen, dass Besucher, die an dem einen Test teilnehmen, auch an dem anderen teilnehmen. Nimmt aber ein Besucher an zwei oder mehr Tests gleichzeitig teil, ist die Zuweisung, die sogenannte Attribution, der Interaktionen dieses Nutzers zu den Experiences der einzelnen Tests sehr problematisch. Außerdem müssen mehr Ressourcen in diese Tests investiert werden.

Nehmen wir für einen Moment an, Sie verfügen über ausreichend Ressourcen, um diese Tests durchzuführen. Gehen wir zudem davon aus, Sie können die Tests entwickeln und korrekt durchführen – dann ist es immer noch möglich, dass Ihnen eine wesentliche Information fehlt: Das heißt, je nach Wichtigkeit dieser Information kann ein multivariater Test trotz allem die einzig Erfolg versprechende Methode sein. Was genau damit gemeint ist, erfahren Sie im Folgenden.

Kommen wir nun zur zweiten Frage.

Frage 2: Möchten Sie wissen, welchen Effekt jede einzelne Änderung hat oder wie sich die Änderungen insgesamt auswirken?

Sie sind nun über das Stadium umfassender Änderungen hinaus und müssen Schritt für Schritt Modifikationen vornehmen. Sie führen beispielsweise einen Test mit dem Hero-Banner und dem oberen Navigationsmenü (Test 1) durch. Gleichzeitig möchten Sie aber auch die optimale Größe und Darstellungsweise der Social-Media-Buttons im oberen Seitenbereich ermitteln. Sie starten also einen A/B-Test für diese Buttons (Test 2). Nichts einfacher als das. Oder etwa doch nicht? Das Problem: Sie gehen davon aus, dass die Änderungen, die Sie an den Social-Media-Buttons vornehmen (Test 2), keinen Einfluss auf die Änderungen haben, die Sie als Resultat des Banner-Tests (Test 1) durchführen. Sie möchten also in erster Linie wissen, welchen Effekt jede Änderung für sich genommen hat, unabhängig von den anderen vorgenommenen Änderungen.

Das heißt, jegliche Korrelationen – also Wechselbeziehungen – die eventuell zwischen den verschiedenen Seitenelementen existieren, werden dabei ignoriert. Mit anderen Worten: Es wird angenommen, dass das Ergebnis von Test 1 nicht vom Ergebnis von Test 2 abhängt. Ob Sie die Darstellung der Social-Media-Buttons ändern oder nicht, hat keinen Einfluss auf den Gewinner des anderen Tests. Es wird schlicht davon ausgegangen, dass die verschiedenen Elemente der Seite nicht miteinander korrelieren.

Der Knackpunkt: Mit A/B-Tests erfahren Sie nie, ob dies auch wirklich zutrifft. Es lässt sich nicht sicher feststellen, ob der Gewinner des einen Tests mit dem Gewinner des anderen Tests wirklich problemlos „zusammenspielt“. Letztendlich ergibt „Gewinner + Gewinner” also nicht immer zwangsläufig den „Gesamtsieger“. Hierzu zwei Faustregeln:

  • Sind die statistischen Korrelationen zwischen verschiedenen Elementen sehr klein, dann gilt: „Gewinner + Gewinner = Gesamtsieger”.
  • Sind die statistischen Korrelationen dagegen signifikant, dann entspricht die „Gewinner + Gewinner”-Variante nicht dem „Gesamtsieger“.

Dabei müssen zusätzlich zwei wichtige Aspekte berücksichtigt werden. Erstens: Statistische Korrelationen treten häufig auf. Sie zu ignorieren ist ein Fehler. So zeigen Untersuchungen von Maxymiser, dass bei nicht weniger als 82 % der multivariaten Tests Korrelationen zwischen den Elementen bestehen. Zweitens: Statistische Korrelationen sind wichtig. Falls Sie diese nicht beachten, besteht die Gefahr, dass Sie womöglich eine Experience zum Gewinner wählen, die eigentlich gar nicht die beste Option ist.

Möchten Sie also den Gesamteffekt mehrerer, schrittweise durchgeführter Änderungen auf Ihre Conversion Rate oder Ihren Umsatz ermitteln, sind multivariate Tests zwingend erforderlich. So etwa beim Testing eines gesamten Conversion Funnels, der naturgemäß mehrere Seiten (Elemente) umfasst. Wollen Sie hier herausfinden, welche Variante als klarer Gesamtsieger aus dem Test hervorgeht und außerdem wissen, wie sich die Änderungen auf jeder Seite des Funnels auswirken, bleibt als einzige Methode ein MVT.

Die Voraussetzungen für die verschiedenen Testingmethoden finden Sie in der folgenden Tabelle:

Die Voraussetzungen für A/B- und Multivariate Testings im Überblick.

Der einfache Weg führt nicht immer zum Ziel

A/B-Testing ist weniger komplex und ressourcenschonender als multivariates Testing, eignet sich aber nicht für jeden Zweck. Es ist meistens dann das Mittel der Wahl, wenn es darum geht, den Erfolg eines vollständigen Redesigns einer Website zu prüfen, wie etwa für einen Relaunch. Um den Gesamteffekt mehrerer, schrittweise durchgeführter Änderungen auszuwerten, ist dagegen multivariates Testing zwingend erforderlich. Sonst besteht das Risiko, dass Korrelationen, die zwischen den verschiedenen Seitenelementen existieren können, übersehen werden.

Es ist also wichtig, dass Sie sich vorab klarmachen, welche Fragen ein Testing beantworten soll und die Methode dementsprechend auszuwählen – ohne sich zu stark von Zeit- und Kostenerwägung leiten zu lassen. Denn: Wer die falsche Testingmethode wählt oder den Test zu früh beendet, läuft Gefahr, vorschnell eine falsche Variante zum Gesamtsieger zu küren. Was sich – ohne Ihr Wissen – nicht nur negativ auf die Conversion Rate auswirken, sondern auch langfristig der Kundenbindung schaden kann.

Autor

Michael Jonas ist Head of Service Delivery EMEA bei Maxymiser und hat umfassende Erfahrung mit dem Thema Conversion Optimierung und Service Delivery. Verantwortlich für über 50 Enterprise-Kunden kümmert er sich um die Kundenzufriedenheit, die Strategie der Entwicklung, sowie alle Stufen der Projektlieferung. Jonas besitzt internationale Zertifikate zu den Themen Online-Testing und Personalisierung.

www.maxymiser.de
info-de@maxymiser.com
twitter.com/maxymiser_ger

Kommentare (0)

Keine Kommentare gefunden!

Neuen Kommentar schreiben

  • Facebook
  • Google+
  • Twitter
  • XING
© 2016 eSTRATEGY-Magazin
Facebook
Twitter
RSS
Xing
Google+