La scheda Impact Analysis risponde all'unica domanda che conta: il contatto sta funzionando? Questo articolo spiega come Engage confronta il gruppo contattato con il gruppo di controllo trattenuto, quali metriche riporta e su quali orizzonti temporali, le viste disponibili e come leggere i numeri senza interpretarli in modo eccessivo.
Contenuti
Gruppo di trattamento vs. gruppo di controllo
La scheda Impact Analysis confronta il gruppo di trattamento (A, contattato) con il gruppo di controllo (B, trattenuto). L'intestazione recita: "Treatment vs control outcomes, extra visits and value uplift per horizon."
Il confronto si basa sulla suddivisione A/B globale (configurata una sola volta per il pubblico Members): è il gruppo di controllo trattenuto a rendere possibile la misurazione. Se la suddivisione A/B globale è disattivata, non c'è alcun gruppo di controllo né alcuna misurazione dell'impatto. Vedere anche: Creare e modificare le regole trigger (test A/B).
Cosa misura Impact Analysis
- Visite aggiuntive in palestra: visite per membro contattato rispetto al controllo a 1 settimana, 2 settimane e 1 mese dopo il contatto. Più visite ora sono un indicatore anticipatore di fidelizzazione.
- Disdette evitate: la quota di ciascuna coorte che ha disdetto, contattati vs. controllo, a 3, 6, 9 e 12 mesi. La differenza è il numero di membri trattenuti grazie al contatto.
- Come si accumula l'impatto nel tempo: grafici delle visite per membro e del tasso di disdetta nel tempo. Il divario tra la linea dei contattati e quella del controllo è ciò che il contatto ha aggiunto.
Impact Analysis: contattati vs. controllo sugli orizzonti di visite e disdette, più grafici dell'impatto nel tempo; le cifre sono contrassegnate come preliminari finché la finestra di misurazione non si chiude.
Viste
Impact Analysis può essere visualizzata in tre modi:
| Vista | Cosa mostra |
|---|---|
| Per-run | Impatto per una singola esecuzione. |
| Per-trigger | Impatto aggregato per una singola regola trigger su tutte le sue esecuzioni. |
| All-time | Impatto aggregato su tutte le esecuzioni. |
I risultati sono filtrabili per categoria e intervallo di date. In uno studio appena attivato la scheda mostra "No execution runs yet" finché non si accumulano dati.
Leggere i numeri
I dati sull'impatto necessitano di un numero sufficiente di esecuzioni per essere statisticamente significativi. Gli studi appena attivati vedranno all'inizio stati vuoti o con pochi dati; è normale. Gli orizzonti più lunghi (disdette evitate a 180+ giorni) richiedono per natura mesi prima di popolarsi.
Due note pratiche sulla lettura dei numeri:
- Gli studi piccoli accumulano significatività lentamente. Poche esecuzioni su uno studio da 300 membri non produrranno una cifra di lift affidabile; valuti le tendenze su settimane, non su giorni.
- Il disegno A/B controlla la stagionalità e altri effetti esterni, poiché entrambi i gruppi li sperimentano allo stesso modo. Per questo la misurazione dell'impatto dipende dal fatto che la suddivisione A/B globale sia attiva: senza un gruppo di controllo non c'è nulla con cui confrontarsi.
Vedere anche: Esecuzione dei trigger (pianificazione, anteprima e log di esecuzione).