Optimizely Intelligence Cloud: So verwenden Sie die Statistik-Engine für intelligentere und schnellere A/B-Tests

Optimizely Stats Engine und A/B-Teststrategien

Wenn Sie ein Experimentierprogramm durchführen möchten, um Ihr Unternehmen beim Testen und Lernen zu unterstützen, verwenden Sie wahrscheinlich Optimizely Intelligence Cloud – oder du hast es dir zumindest angeschaut. Optimizely ist eines der mächtigsten Tools im Spiel, aber wie jedes dieser Tools können Sie es falsch verwenden, wenn Sie nicht verstehen, wie es funktioniert. 

Was macht Optimizely so mächtig? Das Herzstück des Funktionsumfangs ist die am besten informierte und intuitive Statistik-Engine in einem Drittanbieter-Tool, mit der Sie sich mehr darauf konzentrieren können, wichtige Tests live zu übertragen – ohne sich Sorgen machen zu müssen, dass Sie Ihre Ergebnisse falsch interpretieren. 

Ähnlich wie ein traditionelles Blindstudium in der Medizin, A / B-Tests wird zufällig anders angezeigt Behandlungen Ihrer Website an verschiedene Benutzer, um dann die Wirksamkeit jeder Behandlung zu vergleichen. 

Statistiken helfen uns dann, Rückschlüsse auf die langfristige Wirksamkeit dieser Behandlung zu ziehen. 

Die meisten A/B-Testtools basieren auf einer von zwei Arten von statistischen Inferenzen: Frequentist- oder Bayes-Statistiken. Jede Schule hat verschiedene Vor- und Nachteile – Frequentistische Statistiken erfordern, dass eine Stichprobengröße vor der Durchführung eines Experiments festgelegt wird, und Bayessche Statistiken kümmern sich hauptsächlich darum, gute Richtungsentscheidungen zu treffen, anstatt eine einzelne Zahl für die Wirkung anzugeben, um nur zwei Beispiele zu nennen. Die Superkraft von Optimizely besteht darin, dass es heute das einzige Tool auf dem Markt ist, das eine Beste aus beiden Welten Ansatz.

Das Endergebnis? Optimizely ermöglicht es Benutzern, Experimente schneller, zuverlässiger und intuitiver durchzuführen.

Um den vollen Nutzen daraus zu ziehen, ist es jedoch wichtig zu verstehen, was hinter den Kulissen passiert. Hier sind 5 Erkenntnisse und Strategien, mit denen Sie die Funktionen von Optimizely wie ein Profi nutzen können.

Strategie 1: Verstehen Sie, dass nicht alle Metriken gleich erstellt werden

In den meisten Testtools wird häufig übersehen, dass je mehr Metriken Sie als Teil Ihres Tests hinzufügen und verfolgen, desto wahrscheinlicher ist es, dass Sie aufgrund von Zufallszahlen falsche Schlussfolgerungen sehen (in der Statistik wird dies als "Multiple Testing Problem" bezeichnet). “). Um zuverlässige Ergebnisse zu erzielen, verwendet Optimizely eine Reihe von Kontrollen und Korrekturen, um die Wahrscheinlichkeit dafür so gering wie möglich zu halten. 

Diese Kontrollen und Korrekturen haben zwei Auswirkungen, wenn Sie Tests in Optimizely einrichten. Zuerst die Metrik, die Sie als Ihre festlegen Primärer Messwert wird am schnellsten statistische Signifikanz erreichen, alle anderen Dinge konstant. Zweitens: Je mehr Messwerte Sie einem Test hinzufügen, desto länger brauchen Ihre späteren Messwerte, um statistische Signifikanz zu erreichen.

Wenn Sie ein Experiment planen, Stellen Sie sicher, dass Sie wissen, welche Metrik in Ihrem Entscheidungsprozess Ihr wahrer Norden ist, und machen Sie diese zu Ihrer primären Metrik. Halten Sie dann den Rest Ihrer Metrikliste schlank, indem Sie alles entfernen, was zu überflüssig oder tangential ist.

Strategie 2: Erstellen Sie Ihre eigenen benutzerdefinierten Attribute

Optimizely bietet Ihnen mehrere interessante und hilfreiche Möglichkeiten, Ihre Testergebnisse zu segmentieren. Sie können beispielsweise untersuchen, ob bestimmte Behandlungen auf Desktop-Computern im Vergleich zu Mobilgeräten besser funktionieren, oder Unterschiede zwischen den Zugriffsquellen beobachten. Wenn Ihr Testprogramm jedoch ausgereift ist, werden Sie sich schnell neue Segmente wünschen – diese können spezifisch für Ihren Anwendungsfall sein, wie Segmente für einmalige oder Abonnementkäufe oder allgemein wie „neue vs. wiederkehrende Besucher“ (was, ehrlich gesagt können wir immer noch nicht herausfinden, warum das nicht sofort einsatzbereit ist).

Die gute Nachricht ist, dass Ingenieure, die mit Optimizely vertraut sind, über das Projekt-JavaScript-Feld von Optimizely eine beliebige Anzahl interessanter benutzerdefinierter Attribute erstellen können, denen Besucher zugewiesen und nach denen sie segmentiert werden können. Bei Cro Metrics haben wir eine Reihe von Stock-Modulen (wie „neue vs. wiederkehrende Besucher“) erstellt, die wir für alle unsere Kunden über ihr Projekt-JavaScript installieren. Die Nutzung dieser Fähigkeit ist ein wichtiges Unterscheidungsmerkmal zwischen ausgereiften Teams, die über die richtigen technischen Ressourcen verfügen, um sie bei der Ausführung zu unterstützen, und Teams, die Schwierigkeiten haben, das volle Potenzial des Experimentierens auszuschöpfen.

Strategie 3: Entdecken Sie den Stats Accelerator von Optimizely

Eine oft überbewertete Funktion von Testtools ist die Möglichkeit, „multi-armed bandits“ zu verwenden, eine Art maschineller Lernalgorithmus, der dynamisch ändert, wo Ihr Datenverkehr im Verlauf eines Experiments zugewiesen wird, um so viele Besucher zum „Gewinner“ zu schicken. Abwechslung wie möglich. Das Problem bei mehrarmigen Banditen besteht darin, dass ihre Ergebnisse keine zuverlässigen Indikatoren für die langfristige Leistung sind, sodass der Anwendungsfall für diese Art von Experimenten auf zeitkritische Fälle wie Verkaufsförderung beschränkt ist.

Optimizely bietet Benutzern mit höheren Plänen jedoch eine andere Art von Bandit-Algorithmus – Stats Accelerator (jetzt bekannt als die Option „Accelerate Learnings“ in Bandits). Anstatt zu versuchen, Traffic dynamisch der leistungsstärksten Variante zuzuordnen, weist Optimizely in dieser Konfiguration den Traffic dynamisch den Varianten zu, die am wahrscheinlichsten die statistische Signifikanz am schnellsten erreichen. Auf diese Weise können Sie schneller lernen und die Reproduzierbarkeit herkömmlicher A/B-Testergebnisse beibehalten.

Strategie Nr. 4: Emojis zu Ihren Metriknamen hinzufügen

Auf den ersten Blick klingt diese Idee wahrscheinlich fehl am Platz, sogar albern. Um sicherzustellen, dass Sie die richtigen Testergebnisse lesen, müssen Sie jedoch sicherstellen, dass Ihr Publikum die Frage versteht. 

Trotz unserer Bemühungen können die Namen von Metriken manchmal verwirrend werden (Warte – wird diese Metrik ausgelöst, wenn die Bestellung angenommen wird oder der Benutzer auf die Dankesseite klickt?) Seite führt zu einer totalen kognitiven Überlastung.

Das Hinzufügen von Emojis zu Ihren Metriknamen (Ziele, grüne Häkchen, sogar der große Geldbeutel könnte funktionieren) kann zu weitaus besser durchsuchbaren Seiten führen. 

Vertrauen Sie uns – das Auslesen der Ergebnisse wird sich viel einfacher anfühlen.

Strategie 5: Überdenken Sie Ihr statistisches Signifikanzniveau

Ergebnisse gelten im Rahmen eines Optimizely-Tests als schlüssig, wenn sie erreicht sind statistische Signifikanz. Statistische Signifikanz ist ein schwieriger mathematischer Begriff, aber im Wesentlichen ist es die Wahrscheinlichkeit, dass Ihre Beobachtungen das Ergebnis eines echten Unterschieds zwischen zwei Populationen sind und nicht nur zufällig. 

Die von Optimizely angegebenen statistischen Signifikanzniveaus sind dank eines mathematischen Konzepts namens . „immer gültig“. sequentielle Prüfung – Dies macht sie tatsächlich viel zuverlässiger als die anderer Testtools, die anfällig für alle möglichen "Spähprobleme" sind, wenn Sie sie zu früh lesen.

Es lohnt sich zu überlegen, welche statistische Signifikanz Sie für Ihr Testprogramm als wichtig erachten. Während 95 % die Konvention in der wissenschaftlichen Gemeinschaft sind, testen wir Website-Änderungen, keine Impfstoffe. Eine weitere gängige Wahl in der Experimentalwelt: 90%. Aber sind Sie bereit, etwas mehr Unsicherheit in Kauf zu nehmen, um schneller Experimente durchzuführen und mehr Ideen zu testen? Könnten Sie eine statistische Signifikanz von 85 % oder sogar 80 % verwenden? Wenn Sie Ihr Risiko-Ertrags-Verhältnis absichtlich berücksichtigen, kann dies im Laufe der Zeit exponentielle Dividenden auszahlen, also denken Sie sorgfältig darüber nach.

Lesen Sie mehr über Optimizely Intelligence Cloud

Diese fünf schnellen Prinzipien und Erkenntnisse werden bei der Verwendung von Optimizely unglaublich hilfreich sein. Wie bei jedem Tool läuft es darauf hinaus, sicherzustellen, dass Sie alle Anpassungen hinter den Kulissen gut verstehen, damit Sie sicherstellen können, dass Sie das Tool effizient und effektiv verwenden. Mit diesen Erkenntnissen können Sie die gewünschten zuverlässigen Ergebnisse erzielen, wenn Sie sie benötigen. 

Was denken Sie?

Diese Seite verwendet Akismet, um Spam zu reduzieren. Erfahren Sie, wie Ihre Kommentardaten verarbeitet werden.