Visual Website Optimizer est un outil de testing créé en 2009 par la société Wingify. Comme ses concurrents, il propose un module de test A/B, de MVT et de « personnalisation ». Depuis 2016, l’éditeur propose également une brique d’analyse qualitative qui permet de collecter des informations sur vos utilisateurs et vos tests.

Après 4 années d’utilisation, VWO est pour moi l’un des outils de test les plus performants du marché, stable et abordable. Il y a quelques subtilités intéressantes que je souhaite partager avec vous.

1) Le ciblage du test

Le ciblage du test est un paramètre important dans votre campagne. Il va déterminer que votre test se déroule bien sur le bon groupe d’utilisateurs et uniquement sur les pages souhaitées. VWO propose une liste de segments prédéfinis et un système avancé (voir screen ci-dessous) :

vwo-segment-gallery-cro-fauveaux-mathieu

Activation des groupes via les parenthèses ouvrantes et fermantes.

Si vous utilisez des conditions complexes imbriquées, ce système présente une subtilité qui peut complètement fausser votre ciblage : les groupes de conditions. Ces groupes sont symbolisés par des parenthèses ouvrantes et fermantes noires que vous pouvez  activer en cliquant dessus (voir screen ci-dessus).

Prenons cet exemple de ciblage complexe :

Ciblage du test MVT avec plusieurs groupes de conditions.

Ciblage du test MVT avec plusieurs groupes de conditions.

Dans cet exemple,  un user agent est exclu et l’utilisateur doit provenir d’un referrer déterminé. L’utilisation des groupes permet d’exclure dans tous les cas l’user agent et de lister l’ensemble des referrer autorisés.

Voyons comment VWO interprète le ciblage avec ou sans parenthèses :

  • Avec parenthèses : (User agent exclu) ET (Referrer autorisés)
  • Sans parenthèses : (User agent ET 1er referrer exclus) OU (Referrer autorisés)

Dans ce second cas, VWO va bloquer l’user agent uniquement sur le premier referrer et il le laissera passer sur les autres. C’est moche et ça peut avoir de grosses conséquences !

2) L’arrêt automatique du test

Lors de la création de votre test A/B, VWO vous propose d’estimer la durée nécessaire pour obtenir des résultats significatifs. Pour cela l’éditeur utilise 4 métrics :  le taux de conversion actuel, le taux minimum d’optimisation souhaité, le nombre de combinaisons et le nombre moyen d’utilisateurs mensuel. Cette étape est obligatoire et à partir de ce moment, l’outil estime qu’il est capable de déterminer quand arrêter votre campagne de test.

Ca on n’aime pas chez Altima° !

Durée minimale pour avoir un test significatif.

Estimation de la durée du test A/B.

La plupart des outils de testing tentent d’aider l’utilisateur lorsqu’il doit désactiver une combinaison ou arrêter le test. Cette « aide » est contreproductive puisque l’outil ne connait pas le contexte de votre marque, du trafic (..) et se base sur quelques datas isolées. Nous en reparlons dans un autre article et je vous invite à lire ce post sur Inbound et la réponse de Claire Vignon que je partage.

Alors comment réduire au silence cette aide ?

En faussant les données présentées pour obtenir une estimation du nombre de semaines nécessaire la plus haute possible. Un taux de conversion minimum souhaité équivalent à 0,01% permet souvent de faire grimper l’estimation à une centaine de semaines. A partir de là, l’outil n’arrêtera plus votre test, magique !

3) ENRICHISSEMENT DE la heatmap

Les heatmaps permettent de comprendre certaines situations ou attentes de l’utilisateur. VWO propose d’enregistrer une heatmap par variation de test mais uniquement sur les 3 premiers clics par défaut. Cette limitation peut avoir un impact sur votre compréhension du comportement utilisateur et vous pourrez imaginer que certains éléments ne sont jamais cliqués, ce qui n’est pas vrai !

Pour corriger ce point et augmenter le nombre de clics enregistrés sur vos heatmaps, vous devez ajouter cette variable « var _vwo_clicks=X; » dans votre Tag VWO. La valeur X correspond au nombre de clics que vous souhaitez enregistrer. Voici un exemple de Tag customisé pour enregistrer 10 clics :

<!-- Start Visual Website Optimizer Asynchronous Code -->
 <script type='text/javascript'>
 var _vwo_clicks=10;
 var _vwo_code=(function(){
 var account_id=XXXXXX,
 settings_tolerance=2000,
 library_tolerance=2500,
 use_existing_jquery=false,
 // DO NOT EDIT BELOW THIS LINE
(..)
 </script>
 <!-- End Visual Website Optimizer Asynchronous Code -->


Dans cet exemple, les 10 premiers clics seront enregistrés sur votre page.

4)  Connexion à plusieurs et sauvegarde

Il est possible d’être connecté à plusieurs sur un même compte utilisateur là ou certains outils ne l’autorisent pas ou rendent le risque de conflits important. Cette fonctionnalité peut être intéressante pour un développeur et un chef de projet qui réalisent une recette par exemple.

Est-ce qu’il y a un risque ?

Oui et ça peut-être pénalisant. Si 2 personnes sont connectées en même temps dans l’éditeur, le code JS et CSS ne seront peut-être pas enregistrés. Aucun message ne vous indiquera cet état.

La solution ?

Je vous invite à créer un compte par utilisateur pour éviter ce genre de couac et bénéficier d’un historique des actions utilisateurs (très pratique!). Sinon, vous pouvez consulter les connexions actives sur ce compte via un lien présent dans le footer de l’interface :

Connaitre le nombre de personnes connectés sur VWO par Fauveaux Mathieu.

Permet de connaitre les comptes utilisateurs actifs.

Au clic, cette pop-in s’ouvrira et vous permettra de connaitre les comptes connectés :

Comptes VWO actifs dans le dashboard.

Status des comptes VWO.

Un bouton magique « Sign out all other sessions » permet de déconnecter l’ensemble des utilisateurs, magique !

5) Editeur simplifié et gain de temps

VWO propose un éditeur de test simplifié sans interface graphique à destination des développeurs.

Le premier avantage est la suppression de l’éditeur graphique qui tente d’interpreter le code dès qu’une modification est réalisée. Dans le cas de test complexe, l’interface graphique peut mal interpréter ces modifications et boucler sur une erreur.. bonjour les ralentissements et l’état de santé mentale de votre développeur !

giphy

Le second avantage est que l’éditeur propose une correction en live. Cet élément permet d’éviter les erreurs de saisie et de gagner du temps précieux.

Vous pouvez l’activer lors de la création d’un test A/B dans la liste des options avancées :

Editeur sans interface graphique VWO

Editeur de test A/B simplifié pour les développeurs.

 

Bonus : LE switch magique

Durant la phase de recette ou en production il n’est pas simple de savoir quelle variation est affichée sur votre écran. Il l’est encore moins de la modifier sans éditer vos cookies etc… Pour cela je vous propose d’utiliser cette méthode :

Dans la barre des favoris de votre navigateur, créez un nouveau raccourci. Dans le champ URL, collez ce code :

javascript:var%20names="Combinations%20in%20test:\r\n\r\n";%20if(typeof%20_vwo_exp_ids=="object"){for(x%20in%20_vwo_exp[_vwo_exp_ids[0]].comb_n)%20{names=names+x+"%20=%20"+_vwo_exp[_vwo_exp_ids[0]].comb_n[x]+"\r\n";%20}};function%20readCookie(name){var%20nameEQ=name+"=";%20var%20ca=document.cookie.split(';');%20for(var%20i=0;i<ca.length;i++){var%20c=ca[i];%20while(c.charAt(0)=='%20')c=c.substring(1,c.length);%20if(c.indexOf(nameEQ)==0)return%20c.substring(nameEQ.length,c.length)%20};return%20null;};%20if(typeof%20_vis_opt_experiment_id!="undefined"){var%20id=_vis_opt_experiment_id;%20var%20cv=unescape(readCookie("_vis_opt_exp_"+id+"_combi"));%20txt=prompt(names+"\r\n\r\nChoose%20combination:",cv);%20if(txt!=null){_vis_opt_createCookie("_vis_opt_exp_"+id+"_combi",txt,100);location.reload(true);%20}}else{alert("No%20live%20experiment%20on%20this%20page.");};%20void(0);

En utilisant ce raccourci sur une page qui contient un test live, vous pourrez connaitre la variation qui est affichée et la changer très simplement. Pratique pour la recette et pour espionner vos concurrents :)

Sélection d'une variation de test via le switch.

Sélection d’une variation de test via le switch.

 

Avez-vous eu l’occasion de découvrir d’autres astuces avec VWO ? Si oui n’hésitez pas à les partager dans les commentaires et d’ici là, bon testing !

Mathieu Fauveaux

Consultant Conversion & Analytics.

More Posts - Website

Follow Me:
TwitterLinkedIn