Der Tab Impact Analysis beantwortet die eine entscheidende Frage: Wirkt die Ansprache? Dieser Artikel erklärt, wie Engage die angeschriebene Gruppe mit der zurückgehaltenen Kontrollgruppe vergleicht, welche Kennzahlen über welche Zeithorizonte berichtet werden, welche Ansichten verfügbar sind und wie Sie die Zahlen lesen, ohne sie überzuinterpretieren.
Contents
Treatment vs. Control
Der Tab Impact Analysis vergleicht die Treatment-Gruppe (A, angeschrieben) mit der Control-Gruppe (B, zurückgehalten). Die Kopfzeile lautet: "Treatment vs control outcomes, extra visits and value uplift per horizon."
Der Vergleich stützt sich auf die globale A/B-Aufteilung (einmalig für die Zielgruppe Members konfiguriert): Die zurückgehaltene Kontrollgruppe ist es, die die Messung erst möglich macht. Wenn die globale A/B-Aufteilung ausgeschaltet ist, gibt es keine Kontrollgruppe und keine Wirkungsmessung. Siehe auch: Trigger-Regeln erstellen und bearbeiten (A/B-Test).
Was Impact Analysis misst
- Zusätzliche Studiobesuche: Besuche pro angeschriebenem Mitglied im Vergleich zur Control-Gruppe nach 1 Woche, 2 Wochen und 1 Monat nach der Ansprache. Mehr Besuche jetzt sind ein Frühindikator für Retention.
- Abgewendete Kündigungen: der Anteil jeder Kohorte, der gekündigt hat, angeschrieben im Vergleich zur Control-Gruppe, nach 3, 6, 9 und 12 Monaten. Die Differenz ist die Anzahl der durch die Ansprache gehaltenen Mitglieder.
- Wie sich die Wirkung über die Zeit aufbaut: Diagramme der Besuche pro Mitglied und der Kündigungsrate im Zeitverlauf. Die Lücke zwischen der angeschriebenen und der Control-Linie ist das, was die Ansprache hinzugefügt hat.
Impact Analysis: angeschrieben vs. Control über die Besuchs- und Kündigungshorizonte hinweg, plus Wirkung-über-Zeit-Diagramme; die Zahlen sind als vorläufig gekennzeichnet, bis das Messfenster schließt.
Ansichten
Impact Analysis kann auf drei Arten betrachtet werden:
| Ansicht | Was sie zeigt |
|---|---|
| Per-run | Wirkung für einen einzelnen Execution Run. |
| Per-trigger | Wirkung, aggregiert für eine Trigger-Regel über ihre Läufe hinweg. |
| All-time | Wirkung, aggregiert über alle Läufe hinweg. |
Die Ergebnisse sind nach Kategorie und Zeitraum filterbar. Bei einem neu aktivierten Studio zeigt der Tab "No execution runs yet", bis Daten zusammenkommen.
Die Zahlen lesen
Wirkungsdaten benötigen genügend Läufe, um statistisch aussagekräftig zu sein. Neu aktivierte Studios sehen zunächst leere Zustände oder solche mit wenigen Daten; das ist zu erwarten. Die längeren Horizonte (nach 180+ Tagen verhinderte Kündigungen) brauchen naturgemäß Monate, um sich zu füllen.
Zwei praktische Hinweise zum Lesen der Zahlen:
- Kleine Studios sammeln Signifikanz langsam an. Eine Handvoll Läufe in einem Studio mit 300 Mitgliedern liefert keine verlässliche Lift-Zahl; beurteilen Sie Trends über Wochen, nicht über Tage.
- Das A/B-Design kontrolliert für Saisonalität und andere externe Effekte, da beide Gruppen sie gleichermaßen erleben. Deshalb hängt die Wirkungsmessung davon ab, dass die globale A/B-Aufteilung eingeschaltet ist: Ohne Kontrollgruppe gibt es nichts, wogegen verglichen werden könnte.
Siehe auch: Trigger ausführen (Zeitplan, Vorschau und Ausführungsprotokoll).