Sei pronto per iniziare a testare diverse strategie di marketing, ma sei pronto per tutti i modi in cui questi test potrebbero non andare come previsto? 

Fare ricerche è la base: ma non sempre siamo pronti ai risultati che questi test ci offrono. 

Quali sono i problemi che dovrai affrontare nell’analisi dei dati?

Ti ho raccontato come consiglio di misurare l’efficacia del marketing per implementare l’incrementalità. Forse perché un po’ mi andava, ma soprattutto perché con questa misurazione gli esperti di marketing possono valutare il valore della strategia isolandola dal resto. 

Ecco sei cose che potrebbero andare storte e cosa fare.

1. Non hai abbastanza dati

Prendiamo per esempio una ditta che produce zaini ecologici (colorati): ha un ricco numero di clienti con la pubblicità sui social media. Ora vuole iniziare a testare la spesa pubblicitaria TV per capirne l’impatto sulle vendite.

Però in contemporanea un venditore di zaini ecologici (in bianco nero) arriva alla ribalta in TV in alcune città in cui la prima sta facendo un test di mercato abbinato. Il competitor spende molto di più e raggiunge molti più consumatori. Quando arrivano i risultati il dubbio è amletico: gli annunci TV hanno funzionato? O sono stati soffocati dalla campagna del concorrente?

I test sono fondamentali, ma non sempre vanno bene: anche in quei casi sono ottimi per raccogliere nuove informazioni. Una bella notizia è che le cose che possono andare storte sono spesso prevedibili, ergo: si possono pianificare. 

Come sempre una premessa: se si esegue un test per misurare l’incremento si deve disporre della giusta quantità di dati. La potenza dello studio dovrebbe essere maggiore dell’80%, in generale. Ovviamente un campione troppo ristretto di dati non è sufficiente, uno troppo grande diventa troppo costoso.

Insomma il test è buono solo quanto il suo potere statistico e non tutti i test avranno abbastanza potere statistico per rilevare un cambiamento nelle prestazioni.

Cosa potrebbe fare l’azienda produttrice di zaini? Partiamo dalla base: non avere potere statistico non significa necessariamente che un test debba essere scartato.

In pratica lo studio può essere in grado di rilevare un ascensione, se esiste. Non rilevare un effetto non significa che non ci sia stato. Oltre i dati (sufficienti per determinare l’impatto), un test del genere è utile dal punto di vista direzionale: puoi prendere una decisione basata sui dati.

Oppure, se vuoi confrontare i trattamenti, puoi utilizzare i risultati per determinare la validità nelle scoperte. Quando devi scegliere tra due o più opzioni è bene comunque perseguire quella che, a parità di condizioni, è più probabile che fornisca maggiore incrementalità.

2. Valori anomali nei tuoi gruppi di test

L’incrementalità dipende dal confronto tra due o più gruppi. Quindi una buona regola è quella di adottare un’assegnazione casuale all’interno di un esperimento di marketing. Questo per garantire che i gruppi siano simili a livello statistico. 

I valori anomali rendono problematici i confronti, a cosa mi riferisco? Partecipanti al test che mostrano risultati ben al di sopra (o al di sotto) della norma. Parto con il rassicurarti: se si fanno test su gruppi più piccoli la presenza di un cliente estremamente grande in uno dei gruppi di trattamento può influenzare i risultati. 

Detto questo, ovviamente esistono valori anomali in tutti i set, ma la loro presenza nel mio test cambia radicalmente il modo in cui devo valutare un trattamento. 

Prendiamo un’azienda di nicchia che produce cosmetici home made: sta promuovendo una campagna per acquisire una serie di nuovi clienti e misurando in contemporanea l’efficacia della campagna.

In contemporanea per una festa in maschera un gruppo di persone decide di ordinare una trousse a ogni invitato come regalo di benvenuto. Un grandissimo successo, eh? L’imprenditore si rende conto che il singolo acquirente rappresenta la maggior parte delle vendite.

Devi sviluppare una strategia per identificare e correggere i valori anomali dopo il fatto. Si chiama Winsorization è una tattica statistica usata per aggiustare gli outlier. È un processo per isolare i valori anomali in una determinata percentuale. Una volta isolato il dato come risolverà la situazione l’impresa di make-up? Si decide come utilizzarlo, per esempio puoi prendere i numeri di vendita media al posto del primo 0,01% dei clienti e non le loro vendite effettive, dato che nel caso così grandi che probabilmente buttare via i dati. 

Se l’origine del valore anomalo non è causata da un motivo commerciale legittimo (come un errore) è possibile che si desideri utilizzare un approccio diverso e rimuovere l’intero valore erratico mediante esclusione.

3. Le variabili non sono isolate

L’isolamento delle variabili permette di comprendere con precisione quali sono le cause del cambiamento osservato in un esperimento.

Quali problematiche puoi incontrare con le variabili? Ci sono variabili che non puoi controllare e quelle che non puoi prevedere. Per esempio, le persone potrebbero essere esposte ad altri trattamenti nel corso di un test, facendo sì che le tue variabili non vengano isolate.

Un’impresa di moda organizza una campagna video online per la nuova collezione. Il marketer dell’azienda decide di condurre un test geografico online: rimuove le persone in specifici codici postali o DMA (aree di mercato designate). Il responsabile dei media dell’azienda pubblica pubblicità in determinate città, estraneo a questo test. Ma, le persone in questi gruppi di controllo sono anche esposte alla vendita estiva (anche se erano destinate a essere il gruppo di controllo). In questa situazione le variabili non sono più isolate, comprendere l’effetto del trattamento ora è difficile.

Puoi ignorare l’errore se le differenze nei risultati sono minime, come piccole modifiche esecutive, e se l’effetto che stai osservando è abbastanza grande.

Se gli errori sono di grandi dimensioni, puoi utilizzare i risultati, ma forse ti toccherà modificare l’interpretazione del test o modellare le distorsioni. Nel caso in cui l’azienda di moda volesse ripetere il test ci saranno ulteriori informazioni sulle dimensioni degli effetti previsti o sui potenziali errori di esecuzione.

4. Le persone si incrociano nei gruppi di test e di controllo

Un componente chiave di ogni esperimento è assicurarsi che i membri di ciascun pubblico di test rimangano effettivamente nei gruppi di trattamento a cui sono assegnati.

Ma le persone sono imprevedibili nel mondo reale. I bambini spesso guardano video sui telefoni dei loro genitori e quindi vedono annunci pubblicitari rivolti a loro mamme o papà. Oppure possiamo trovare promozioni in regioni d’Italia mentre siamo in viaggio, anche se questo prodotto non è disponibile dove viviamo.

È possibile che durante un test alcune persone possano essere esposte a più trattamenti. In alternativa, alcune persone nel tuo gruppo di controllo potrebbero anche essere esposte a un trattamento. Infine, alcune persone potrebbero non essere esposte, spostandosi nel gruppo di controllo.

Una società che vende numerosi articoli per l’abbigliamento sportivo, sta eseguendo un test per osservare l’efficacia della pubblicità online per un nuovo marchio di scarpe da corsa. I gruppi di trattamento e controllo sono suddivisi a livello individuale. Durante la campagna, il team di marketing si rende rapidamente conto che le scarpe vengono effettivamente acquistato a livello familiare ed è possibile che le persone appartenenti ai gruppi di controllo e trattamento risiedano nelle stesse famiglie.

Generalmente, il crossover tra i trattamenti smorza l’effetto osservato, rendendo i trattamenti meno graduali o mostrando una differenza minore. Se vedi ancora risultati incrementali forti o una differenza tra i gruppi, puoi probabilmente comunque utilizzare i risultati. Serviranno come limite inferiore per il vero impatto del trattamento. Invece, se ritieni che il numero di persone colpite dall’instabilità sia troppo grande per osservare un effetto, prendi in considerazione opzioni di test alternative.

5. I test hanno effetti oltre l’interazione iniziale dell’utente

Quando si analizza un esperimento, un problema comune è quello di prendere in considerazione gli effetti dell’azione di una persona dopo essere stato esposto a un annuncio e quale impatto ha su altri potenziali acquisti.

Questi sono indicati come effetti di secondo ordine. È fondamentale valutare gli effetti del secondo ordine oltre l’azione diretta dell’utente che stai cercando di misurare.

Un istituto bancario sta testando una nuova tattica di marketing per promuovere una carta di credito. Durante i test, il team di marketing si innervosisce dato che il numero di carte di credito approvate sembra molto basso, portando loro a credere che la campagna non sia efficace. Tuttavia, si rendono rapidamente conto di non aver tenuto conto del fatto che un certo numero di consumatori non verrà approvato per questa carta, anche se hanno risposto al messaggio di marketing: e adesso?

La verità è che, anche se un test rivela una tattica o una campagna come un successo, ci saranno ancora alcune cose che non puoi misurare. Nelle società di misura più avanzate, ogni esperimento viene condotto con una suite di 100 o più metriche per verificare l’impatto su altri KPI. Insomma, devi identificare le ipotesi che puoi fare.

Questo ti aiuta a capire dove sono i tuoi punti bui o come correggerli. Ad esempio, se stai cercando di incentivare gli acquisti online puoi anche guardare le vendite offline. Se le tue transazioni possono avere valori diversi, devi valutare le dimensioni dell’ordine o il valore della durata oltre al numero di transazioni. Se ritieni che il tuo trattamento possa indurre le persone a convertirsi prima di quanto farebbero normalmente, assicurati di utilizzare un periodo di misurazione sufficientemente lungo.

6. Non riesci a tenere traccia di tutto 

Proprio come alcuni test possono essere instabili, altri hanno inevitabili incognite. Le persone potrebbero non aderire sempre alle piattaforme su cui esegui i test e le persone non forniscono sempre i dati quando lo desideri o ne hai bisogno.

Quando esegui un esperimento fai affidamento nel sapere in quale gruppo di trattamento fa parte una persona quando conduce l’analisi. Questo può essere difficile in alcuni casi, quando i risultati si verificano in modo anonimo o su piattaforme diverse da quello su cui viene eseguito l’esperimento.

Un ristorante a servizio rapido sta eseguendo un test a livello geografico per comprendere l’effetto dei media nei quartieri circostanti. Tuttavia, man mano che il test avanza, il marketer si rende rapidamente conto che l’elevata percentuale di transazioni in contanti è molto difficile da tracciare in quanto non sono disponibili dati da sfruttare. 

Come reagire a questa problematica? Innanzitutto, se la percentuale di transazioni non rintracciabili è bassa e questo effetto è anche tra i gruppi di trattamento, potresti essere in grado di ignorare gli effetti della tracciabilità. Ciò è particolarmente adatto quando si prendono decisioni di ottimizzazione tra i trattamenti, anziché determinare il valore reale o il ROI di una strategia.

Il modo più comune per ovviare a questo è eseguire una correzione per sistemare la mancanza di copertura. Ciò consente di vedere i numeri come se non ci fosse mancanza di tracciabilità. Ovviamente, se la maggior parte delle transazioni non è rintracciabile, potresti voler perseguire strategie sperimentali che si allineino con un’unità rintracciabile di ordine superiore.

In conclusione? 

Durante i test è possibile che le cose possano andare male, ma ci si aspetta che impari continuamente. Dopotutto, è per questo che si eseguono i test: imparare e migliorare.

Accelerare l’apprendimento di un’azienda è cruciale, è sufficiente fare errori e imparare da essi.

The End… Scherzo, qui trovi alcune considerazioni sull’e-mail marketing, dacci uno sguardo.