Blendee mette a disposizione la possibilità di creare degli A/B/X  Test sfruttando la  flessibilità e le infinite possibilità offerte dall’experience manager, accedendo alla sezione Experiments.

Grazie ad Experiments  è infatti possibile testare qualsiasi contenuto realizzabile con le funzionalità di  Blendee: sarà poi la piattaforma stessa, in base ai risultati, a scegliere quale sarà l’opzione migliore.
Modalità automatica, ma non solo: è ovviamente possibile anche optare per la modalità manuale che lascia l’utente libero di selezionare il vincitore sulla base delle performance migliori ottenute dalle opzioni messe in test.

Il vantaggio immediato della soluzione adottata da Blendee per la gestione degli A/B/X test è quello di non dover riprendere in mano un’esperienza già creata, fermarla, effettuare delle modifiche e poi rilanciarla. Infatti, come vedremo tutto avviene fluidamente e una volta impostati i nostri flussi, tutto sarà automatizzato.

Vediamo adesso come procedere nella configurazione. Per prima cosa è necessario creare/modificare, un’esperienza, nell’esempio creeremo un’esperienza per il carrello abbandonato e verificheremo quale, tra due template email, sarà il più performante.
Andremo poi a testare quale, tra due messaggi comportamentali, porta una maggiore conversione di carrelli.

All’interno dell’Experience Manager troverai, in basso a sinistra la sezione:

A questo punto si procede trascinando il blocco Testing all’interno del nostro workflow per iniziare così configurare il nostro test:

La prima cosa che viene richiesta è la scelta del Nome da configurare per riconoscere il test da eseguire.

IMPORTANTE

Ti consigliamo di scegliere un nome “parlante” per il test in modo da poterlo identificare meglio nelle successive fasi di lettura delle statistiche, distinguendolo così con facilità da altri test già presenti.

Vediamo adesso nel dettaglio le differenze tra le due Modalità di gestione dell’esperimento: Automatico e Manuale.

Modalità “Automatico”

La modalità Automatico è estremamente semplice da configurare. Dovrai scegliere solamente la metrica di valutazione per selezionare il test vincente. Le metriche disponibili sono le seguenti:

• Visualizzazioni/Aperture;
• Click;
• Vendite;
• Prodotti Venduti;
• Fatturato;

Modalità “Manuale”

Selezionando la modalità “Manuale” le scelte da effettuare sono maggiori ma sempre molto semplici da configurare.

Accuratezza

L’accuratezza indica il tempo che vogliamo che Blendee tenga attivo il test e come vedremo comporta la definizione del numero di utenti da coinvolgere prima che il test si possa considerare concluso.
Ovviamente un’accuratezza “Alta” permette di avere dei risultati maggiormente attendibili ma il tempo in cui il test viene eseguito sarà più lungo.
Di contro  una”Bassa” accuratezza coinvolgerà un basso numero di utenti in un tempo ristretto.

L’accuratezza dovrebbe essere scelta in base anche alla tipologia di test che si vuole effettuare. Per esempio, se stiamo testando i click su un messaggio presente sul portale e visibile per tutti gli utenti registrati alle newsletter potremo scegliere un’accuratezza bassa in quanto non avremo bisogno di molto tempo e molti utenti per capire quale opzione sia più performante.

Configurazione Avanzata

Una volta selezionata l’accuratezza è possibile modificare i parametri di base cliccando su “Configurazione Avanzata”:

All’interno della configurazione avanzata verranno visualizzati i dati secondo l’accuratezza scelta precedentemente ed è possibile, eventualmente andare a modificare i parametri:

• Utenti massimi coinvolti nel test
• Durata massima del test (può essere espressa in: ore minuti, giorni, mesi ed è possibile anche definire una data di termine massimo del test)
• Tempo di attesa: permette di definire un tempo di attesa minimo da tenere in considerazione prima del calcolo delle statistiche relative alle performance.

Il test è quindi configurato e non resta che procedere alla creazione dei contenuti da testare. Come detto, nel nostro esempio, in primis andremo a testare due mail per utenti che hanno il carrello abbandonato. Il test prevede la Modalità “Automatico” con la scelta del vincitore in base ai click.

Di seguito il test completo configurato anche per la valutazione del messaggio personalizzato.

Come si può vedere dall’immagine i collegamenti tra i blocchi dei contenuti (email e behavioural messages) ed il test hanno un colore diverso dagli altri collegamenti per permettere una migliore lettura del flusso.

IMPORTANTE

Come si nota dall’immagine entrambi i blocchi di test sono collegati allo stesso blocco di uscita questo perché la valutazione del test non avviene in merito ai “percorsi” che possiamo creare in base alle varie condizioni: i test hanno come obiettivo quello di valutare quale tra due contenuti/copy/template,  risulta essere più performante.

È molto importante, quando si testano le Web Personalizations (recommendations, behavioural messages, ecc…), inserire un blocco di attesa in modo che gli utenti non escano immediatamente dall’esperienza e visualizzino uno dei test.

Scelta del “Vincitore”

Una volta avviata l’esperienza, Blendee permette di visualizzare le statistiche separate per ciascun Experiments  e scegliere il vincitore.
Per procedere:

• selezionare il pulsante “Experiments” a fianco del nome dell’esperienza nella lista delle esperienze
• una volta cliccato andremo scegliere l’esperimento da analizzare.

Nell’analisi delle statistiche, all’interno di un esperimento in modalità automatica, Blendee selezionerà automaticamente il vincitore ma l’utente potrà comunque cambiarlo cliccando sul pulsante “Modifica”;

L’analisi statistica poi può essere ulteriormente approfondita verificando i risultati suddivisi per segmento di utente.
Nell’area “Filtra per Segmenti” è infatti possibile selezionare i segmenti che vogliamo analizzare:

Cliccando su “Ricerca”, nell’area sottostante sarà possibile visualizzare i risultati suddivisi per segmento.