Het tabblad Impact Analysis beantwoordt de ene vraag die telt: werkt de outreach? Dit artikel legt uit hoe Engage de aangeschreven groep vergelijkt met de achtergehouden controlegroep, welke metrieken het rapporteert over welke tijdshorizonnen, welke weergaven beschikbaar zijn, en hoe u de cijfers leest zonder ze te overinterpreteren.
Inhoud
Treatment versus control
Het tabblad Impact Analysis vergelijkt de treatmentgroep (A, aangeschreven) met de controlegroep (B, achtergehouden). De koptekst luidt: "Treatment vs control outcomes, extra visits and value uplift per horizon."
De vergelijking steunt op de globale A/B-splitsing (die eenmalig wordt geconfigureerd voor de doelgroep Members): de achtergehouden controlegroep is wat de meting mogelijk maakt. Als de globale A/B-splitsing is uitgeschakeld, is er geen controlegroep en geen impactmeting. Zie ook: Triggerregels aanmaken en bewerken (A/B-test).
Wat Impact Analysis meet
- Extra gymbezoeken: bezoeken per aangeschreven lid versus control na 1 week, 2 weken en 1 maand na de outreach. Meer bezoeken nu is een voorlopende indicator voor retentie.
- Voorkomen opzeggingen: het aandeel van elke cohort dat opzegde, aangeschreven versus control, na 3, 6, 9 en 12 maanden. Het verschil is het aantal leden dat is behouden door contact op te nemen.
- Hoe de impact zich in de loop van de tijd opbouwt: grafieken van bezoeken per lid en opzegpercentage in de tijd. De kloof tussen de aangeschreven en de control-lijn is wat het berichten heeft toegevoegd.
Impact Analysis: aangeschreven versus control over de bezoek- en opzeghorizonnen, plus grafieken van de impact in de tijd; cijfers worden als voorlopig gemarkeerd totdat het meetvenster sluit.
Weergaven
Impact Analysis kan op drie manieren worden bekeken:
| Weergave | Wat het toont |
|---|---|
| Per-run | Impact voor één afzonderlijke uitvoering. |
| Per-trigger | Impact geaggregeerd voor één triggerregel over al zijn uitvoeringen. |
| All-time | Impact geaggregeerd over alle uitvoeringen. |
Resultaten zijn filterbaar op categorie en datumbereik. In een net geactiveerde studio toont het tabblad "No execution runs yet" totdat er data is opgebouwd.
De cijfers lezen
Impactdata heeft voldoende uitvoeringen nodig om statistisch betekenisvol te zijn. Net geactiveerde studio's zien in het begin lege of datalage toestanden; dit is normaal. De langere horizonnen (voorkomen opzeggingen na 180+ dagen) hebben van nature maanden nodig om zich te vullen.
Twee praktische opmerkingen over het lezen van de cijfers:
- Kleine studio's bouwen langzaam significantie op. Een handvol uitvoeringen bij een studio met 300 leden levert geen betrouwbaar liftcijfer op; beoordeel trends over weken, niet over dagen.
- Het A/B-ontwerp corrigeert voor seizoensinvloeden en andere externe effecten, aangezien beide groepen ze in gelijke mate ervaren. Daarom is de impactmeting afhankelijk van een ingeschakelde globale A/B-splitsing: zonder controlegroep is er niets om tegen te vergelijken.
Zie ook: Triggers uitvoeren (planning, voorbeeld en uitvoeringslogboek).