Utilizzo di gruppi di controllo in campagne One-shot
Che cos'è un "gruppo di controllo"?
Un gruppo di controllo è un sottoinsieme di contatti selezionati casualmente dal pubblico di una campagna, che vengono esclusi dall'invio del messaggio per quella specifica campagna.
L'obiettivo è confrontare il comportamento dei contatti esposti alla campagna con quello di contatti simili che non l'hanno ricevuta. Questo confronto ci permette di misurare l'impatto incrementale della campagna.
In altre parole, il Gruppo di controllo aiuta a rispondere alla domanda:
"Cosa è successo a seguito a questa campagna?"
piuttosto che:
"Quali sono i ricavi associati a questa campagna?"
1. Come funziona un gruppo di controllo?
Una campagna con gruppo di controllo è composta da due popolazioni:
Gruppo esposto
Contatti mirati dalla campagna dopo l'esclusione dal gruppo di controllo.
Ciò include l'intero pubblico a cui è indirizzata la campagna, compresi i contatti bloccati, irraggiungibili o non recapitabili.
Controllo finale
Contatti esclusi intenzionalmente dall'invio della mailing list.
I partecipanti vengono selezionati in modo del tutto casuale dal pubblico della campagna per garantire un confronto affidabile e imparziale.
2. Quando utilizzare un gruppo di controllo?
Casi d'uso consigliati
Misurare l'incremento di efficacia di una campagna promozionale.
Valutare l'impatto reale di un'azione CRM.
Affrontare le problematiche con i team finanziari o gestionali.
Prima di implementare la strategia su larga scala, è opportuno validarla utilizzando un approccio "test & learn".
Casi d'uso meno adatti
Pubblico ristretto, per il quale i risultati potrebbero non avere significato statistico.
Contesti in cui la pressione marketing non consente l'esclusione di una parte del pubblico.
3. Definire il pubblico
La stima del pubblico visualizzata nel generatore e nel gruppo di controllo non sono correlate.
La stima del pubblico esclude i contatti in blocklist e quelli irraggiungibili.
Il gruppo di controllo, invece, viene calcolato in base al pubblico totale, che comprende:
i contatti a cui è possibile rivolgersi;
i contatti irraggiungibili;
i contatti nella blocklist.
4. Comprendere la statistica
Le statistiche della campagna riflettono solo le prestazioni del Gruppo esposto.
I contatti appartenenti al Gruppo di Controllo sono esclusi dagli indicatori standard quali:
tasso di apertura;
percentuale di clic;
tasso di conversione;
rendimento complessivo della campagna.
Questi dati sono visibili nella dashboard delle prestazioni della campagna (CPD).
Analisi del gruppo di controllo
L'analisi del gruppo di controllo è disponibile in una scheda specifica.
Il metodo confronta i risultati ottenuti dal gruppo esposto e dal gruppo di controllo al fine di stimare l'impatto incrementale della campagna.
5. Comprendere le metriche
metrico | Definizione | Formula |
|---|---|---|
Audience totale | Tutte le persone che avrebbero potuto ricevere la tua campagna. | Questo valore corrisponde al pubblico totale nella scheda Statistiche (che include i contatti irraggiungibili, i contatti bloccati e il Gruppo di controllo). |
Gruppo esposto | Tutti gli individui target (pubblico totale meno gruppo di controllo). | Gruppo esposto = pubblico totale - gruppo di controllo |
Gruppo di controllo | Un campione casuale escluso dall'invio della campagna (definito come una percentuale o un numero specifico). | Gruppo di controllo = percentuale o volume del pubblico totale |
Acquirenti | Numero di persone che hanno effettivamente effettuato un acquisto in ciascun gruppo (unico). | Totale di tutti gli acquirenti unici |
Tasso di conversione | Numero di acquirenti unici rispetto al numero totale di contatti. | Acquirenti ÷ Contatti × 100 |
Intervallo di confidenza | Indica l'intervallo entro il quale è probabile che si collochi l'effetto reale della tua campagna, poiché il test si basa esclusivamente su un campione di utenti. | Tiene conto delle conversioni e dei contatti. |
Valore medio dell'ordine | Importo medio speso per ordine. | Ricavo totale ÷ Numero totale di ordini |
Ricavi | Importo totale speso da ciascun gruppo. | Somma di tutti i prezzi totali degli ordini |
RPM | Ricavo generato ogni 1.000 messaggi inviati. Per il gruppo di controllo, si tratta del ricavo che si sarebbe comunque generato. | Ricavi ÷ Contatti × 1.000 |
Conversioni incrementali | Conversioni aggiuntive generate dal Gruppo esposto rispetto al Gruppo di controllo. | (Conversione del gruppo esposto - Conversione del gruppo di controllo) ÷ Conversione del gruppo di controllo |
Ricavi incrementali | Il calcolo dell'incremento di fatturato stima l'impatto della campagna sul fatturato confrontando il gruppo esposto alla campagna con il gruppo di controllo. Prende in considerazione l'impatto sui tassi di conversione e l'impatto sul valore medio degli ordini. | Gruppo esposto × (RPM del gruppo esposto - RPM del gruppo di controllo) ÷ 1000 |
6. Interpretare i risultati
Risultati significativi
Se gli intervalli di confidenza del gruppo esposto e del gruppo di controllo non si sovrappongono, la campagna ha avuto un impatto statisticamente significativo.
Risultati non significativi
Se gli intervalli di confidenza si sovrappongono, i risultati sono considerati inconcludenti.
Quando il gruppo di controllo ottiene risultati migliori
Se il gruppo di controllo ottiene risultati migliori rispetto al gruppo esposto, ciò potrebbe indicare:
che la campagna non ha avuto l'effetto sperato;
che altri fattori esterni abbiano influenzato i risultati.
7. Domande frequenti
D: Il gruppo di controllo smette di ricevere tutte le comunicazioni di marketing?
R: No. I contatti del Gruppo di Controllo vengono esclusi solo dalla campagna in questione. Possono continuare a ricevere altre comunicazioni di marketing.
D: Posso selezionare manualmente i contatti da includere nel gruppo di controllo?
R: No. Per garantire risultati affidabili e imparziali, i contatti vengono selezionati in modo casuale dal sistema. È possibile definire la dimensione del gruppo di controllo solo in percentuale o come numero di contatti.
D: Posso modificare il periodo di osservazione per misurare i risultati?
R: Sì. Il periodo di osservazione è configurabile. Di default è impostato a 7 giorni, ma può essere esteso fino a 30 giorni, anche dopo l'invio della campagna.
D: Posso utilizzare i gruppi di controllo nelle campagne Automations?
R: No. I gruppi di controllo sono attualmente disponibili solo per le campagne one-shot. Le campagne Automations non sono supportate a causa di limitazioni relative all'analisi statistica.