Der Tab Analyse beantwortet die eine entscheidende Frage: Wirkt die Ansprache? Dieser Artikel erklärt, wie Engage die angeschriebene Gruppe mit der zurückgehaltenen Kontrollgruppe vergleicht, welche Kennzahlen über welche Zeithorizonte berichtet werden, welche Ansichten verfügbar sind und wie du die Zahlen lesen, ohne sie überzuinterpretieren.
Inhalt
Behandlung vs. Kontrolle
Der Tab Analyse vergleicht die Gruppe A (Behandlung, angeschrieben) mit der Gruppe B (Kontrolle, zurückgehalten). Die Kopfzeile lautet: "Behandlungs- vs. Kontrollergebnisse - zusätzliche Besuche und Wertzuwachs pro Horizont."
Der Vergleich stützt sich auf die globale A/B-Aufteilung (einmalig für die Zielgruppe Members konfiguriert): Die zurückgehaltene Kontrollgruppe ist es, die die Messung erst möglich macht. Wenn die globale A/B-Aufteilung ausgeschaltet ist, gibt es keine Kontrollgruppe und keine Wirkungsmessung. Siehe auch: Trigger-Regeln erstellen und bearbeiten (A/B-Test).
Was die Analyse misst
- Zusätzliche Studiobesuche: Besuche pro angeschriebenem Mitglied im Vergleich zur Kontrollgruppe nach 1 Woche, 2 Wochen und 1 Monat nach der Ansprache. Mehr Besuche jetzt sind ein Frühindikator für Retention.
- Abgewendete Kündigungen: der Anteil jeder Kohorte, der gekündigt hat, angeschrieben im Vergleich zur Kontrollgruppe, nach 3, 6, 9 und 12 Monaten. Die Differenz ist die Anzahl der durch die Ansprache gehaltenen Mitglieder.
- Wie sich die Wirkung über die Zeit aufbaut: Diagramme der Besuche pro Mitglied und der Kündigungsrate im Zeitverlauf. Die Lücke zwischen der angeschriebenen und der Kontroll-Linie ist das, was die Ansprache hinzugefügt hat.
Analyse: angeschrieben vs. Kontrolle über die Besuchs- und Kündigungshorizonte hinweg, plus Wirkung-über-Zeit-Diagramme; die Zahlen sind als vorläufig gekennzeichnet, bis das Messfenster schließt.
Ansichten
Die Analyse kann auf drei Arten betrachtet werden:
| Ansicht | Was sie zeigt |
|---|---|
| Pro Durchgang | Wirkung für einen einzelnen Ausführungslauf. |
| Pro Auslöser | Wirkung, aggregiert für eine Trigger-Regel über ihre Läufe hinweg. |
| Alle Zeiten | Wirkung, aggregiert über alle Läufe hinweg. |
Die Ergebnisse sind nach Kategorie und Zeitraum filterbar. Bei einem neu aktivierten Studio zeigt der Tab "Noch keine Ausführungsläufe", bis Daten zusammenkommen.
Die Zahlen lesen
Wirkungsdaten benötigen genügend Läufe, um statistisch aussagekräftig zu sein. Neu aktivierte Studios sehen zunächst leere Zustände oder solche mit wenigen Daten; das ist zu erwarten. Die längeren Horizonte (nach 180+ Tagen verhinderte Kündigungen) brauchen naturgemäß Monate, um sich zu füllen.
Zwei praktische Hinweise zum Lesen der Zahlen:
- Kleine Studios sammeln Signifikanz langsam an. Eine Handvoll Läufe in einem Studio mit 300 Mitgliedern liefert keine verlässliche Lift-Zahl; beurteilen du Trends über Wochen, nicht über Tage.
- Das A/B-Design kontrolliert für Saisonalität und andere externe Effekte, da beide Gruppen sie gleichermaßen erleben. Deshalb hängt die Wirkungsmessung davon ab, dass die globale A/B-Aufteilung eingeschaltet ist: Ohne Kontrollgruppe gibt es nichts, wogegen verglichen werden könnte.
Siehe auch: Trigger ausführen (Zeitplan, Vorschau und Ausführungsprotokoll).