L'onglet Impact Analysis répond à la seule question qui compte : la prise de contact fonctionne-t-elle ? Cet article explique comment Engage compare le groupe contacté au groupe témoin mis de côté, quelles métriques il rapporte et sur quels horizons temporels, les vues disponibles, et comment lire les chiffres sans les surinterpréter.
Sommaire
Traitement vs témoin
L'onglet Impact Analysis compare le groupe de traitement (A, contacté) au groupe témoin (B, mis de côté). L'en-tête indique : « Treatment vs control outcomes, extra visits and value uplift per horizon. »
La comparaison repose sur la répartition A/B globale (configurée une seule fois pour l'audience Members) : c'est le groupe témoin mis de côté qui rend la mesure possible. Si la répartition A/B globale est désactivée, il n'y a pas de groupe témoin ni de mesure d'impact. Voir aussi : Créer et modifier des règles de déclenchement (Test A/B).
Ce que mesure Impact Analysis
- Visites supplémentaires en salle : visites par membre contacté vs témoin à 1 semaine, 2 semaines et 1 mois après la prise de contact. Davantage de visites dès maintenant est un indicateur avancé de la rétention.
- Résiliations évitées : la part de chaque cohorte ayant résilié, contactés vs témoin, à 3, 6, 9 et 12 mois. L'écart correspond au nombre de membres conservés grâce à la prise de contact.
- Comment l'impact se construit dans le temps : des graphiques des visites par membre et du taux de résiliation au fil du temps. L'écart entre la courbe des membres contactés et celle du groupe témoin représente ce qu'a apporté la messagerie.
Impact Analysis : contactés vs témoin selon les horizons de visite et de résiliation, plus des graphiques d'impact dans le temps ; les chiffres sont marqués comme préliminaires jusqu'à la clôture de la fenêtre de mesure.
Vues
Impact Analysis peut être consulté de trois façons :
| Vue | Ce qu'elle affiche |
|---|---|
| Per-run | L'impact pour une seule exécution. |
| Per-trigger | L'impact agrégé pour une règle de déclenchement sur l'ensemble de ses exécutions. |
| All-time | L'impact agrégé sur toutes les exécutions. |
Les résultats sont filtrables par catégorie et plage de dates. Sur un studio nouvellement activé, l'onglet affiche « No execution runs yet » jusqu'à ce que les données s'accumulent.
Lire les chiffres
Les données d'impact ont besoin d'un nombre suffisant d'exécutions pour être statistiquement significatives. Les studios nouvellement activés verront d'abord des états vides ou à faibles données ; c'est normal. Les horizons plus longs (résiliations évitées à 180 jours et plus) mettent naturellement des mois à se remplir.
Deux remarques pratiques pour lire les chiffres :
- Les petits studios accumulent la significativité lentement. Une poignée d'exécutions sur un studio de 300 membres ne produira pas de chiffre d'écart fiable ; jugez les tendances sur des semaines, pas des jours.
- Le protocole A/B contrôle la saisonnalité et les autres effets externes, puisque les deux groupes les subissent de la même manière. C'est pourquoi la mesure d'impact dépend de l'activation de la répartition A/B globale : sans groupe témoin, il n'y a rien à quoi comparer.
Voir aussi : Exécuter les déclencheurs (planification, aperçu et journal d'exécution).