La scheda Analisi dell'impatto risponde all'unica domanda che conta: il contatto sta funzionando? Questo articolo spiega come Engage confronta il gruppo contattato con il gruppo di controllo trattenuto, quali metriche riporta e su quali orizzonti temporali, le viste disponibili e come leggere i numeri senza interpretarli in modo eccessivo.
Contenuti
- Gruppo di trattamento vs. gruppo di controllo
- Cosa misura l'Analisi dell'impatto
- Viste
- Leggere i numeri
Gruppo di trattamento vs. gruppo di controllo
La scheda Analisi dell'impatto confronta il gruppo di trattamento (A, contattato) con il gruppo di controllo (B, trattenuto). L'intestazione recita: "Esiti del trattamento rispetto al controllo - visite extra e aumento del valore per orizzonte."
Il confronto si basa sulla suddivisione A/B globale (configurata una sola volta per il pubblico Members): è il gruppo di controllo trattenuto a rendere possibile la misurazione. Se la suddivisione A/B globale è disattivata, non c'è alcun gruppo di controllo né alcuna misurazione dell'impatto. Vedere anche: Creare e modificare le regole trigger (test A/B).
Cosa misura l'Analisi dell'impatto
- Visite aggiuntive in palestra: visite per membro contattato rispetto al controllo a 1 settimana, 2 settimane e 1 mese dopo il contatto. Più visite ora sono un indicatore anticipatore di fidelizzazione.
- Disdette evitate: la quota di ciascuna coorte che ha disdetto, contattati vs. controllo, a 3, 6, 9 e 12 mesi. La differenza è il numero di membri trattenuti grazie al contatto.
- Come si accumula l'impatto nel tempo: grafici delle visite per membro e del tasso di disdetta nel tempo. Il divario tra la linea dei contattati e quella del controllo è ciò che il contatto ha aggiunto.
Analisi dell'impatto: contattati vs. controllo sugli orizzonti di visite e disdette, più grafici dell'impatto nel tempo; le cifre sono contrassegnate come preliminari finché la finestra di misurazione non si chiude.
Viste
L'Analisi dell'impatto può essere visualizzata in tre modi:
| Vista | Cosa mostra |
|---|---|
| Per corsa | Impatto per una singola esecuzione. |
| Per trigger | Impatto aggregato per una singola regola trigger su tutte le sue esecuzioni. |
| Tutti i tempi | Impatto aggregato su tutte le esecuzioni. |
I risultati sono filtrabili per categoria e intervallo di date. In uno studio appena attivato la scheda mostra "Non ci sono ancora esecuzioni" finché non si accumulano dati.
Leggere i numeri
I dati sull'impatto necessitano di un numero sufficiente di esecuzioni per essere statisticamente significativi. Gli studi appena attivati vedranno all'inizio stati vuoti o con pochi dati; è normale. Gli orizzonti più lunghi (disdette evitate a 180+ giorni) richiedono per natura mesi prima di popolarsi.
Due note pratiche sulla lettura dei numeri:
- Gli studi piccoli accumulano significatività lentamente. Poche esecuzioni su uno studio da 300 membri non produrranno una cifra di lift affidabile; valuta le tendenze su settimane, non su giorni.
- Il disegno A/B controlla la stagionalità e altri effetti esterni, poiché entrambi i gruppi li sperimentano allo stesso modo. Per questo la misurazione dell'impatto dipende dal fatto che la suddivisione A/B globale sia attiva: senza un gruppo di controllo non c'è nulla con cui confrontarsi.
Vedere anche: Esecuzione dei trigger (pianificazione, anteprima e log di esecuzione).
Avviso: Questo articolo è stato tradotto con l'aiuto dell'intelligenza artificiale. Ci scusiamo per eventuali errori.