Que l'on soit responsable e-commerce, directeur
marketing ou encore analyste web, le testing est devenu un outil incontournable.
Il permet d’identifier les modifications à apporter aux pages d’un site web pour
améliorer, ou au minimum ne pas dégrader, ses performances. Le testing est donc
un véritable outil d’aide à la décision.
L’analyse de la performance d’un site repose sur des indicateurs
souvent spécifiques au domaine d’activité (e-commerce, banque, éditorial, etc.).
Ainsi, dans le cas d’un site e-commerce, l’attention est centrée sur le taux de
conversion mais aussi sur le montant moyen du panier (chiffre d’affaires /
nombre d’achats) ou la valeur du visiteur (chiffre d’affaires / nombre de
visiteurs).
La moyenne est-elle un indicateur fiable
?
Mais si tous ces indicateurs complémentaires reposant
sur la moyenne (montant moyen de panier, valeur du visiteur, cotisation
moyenne, etc.) n’étaient pas fiables ? Et si l’analyse de tels indicateurs
conduisait à de mauvaises prises de décision ?
Reprenons notre site e-commerce et imaginons que ce
dernier réalise un test dont l’une des versions aurait généré 1286 achats pour
un montant total de 72234 €. Sur la base de ces chiffres, nous pouvons déduire
que le panier moyen de cette version est de 56,17 € (72234 € / 1286 achats).
Difficile de remettre en cause la justesse de ce raisonnement ! Mais ne nous
arrêtons pas là et observons la distribution de nos 1286 paniers.
 |
| La première colonne dénombre les achats dont le montant du panier est compris entre 0 et 50 €, la deuxième entre 50 et 100 €, etc... |
Il ressort que la très grande majorité des
paniers a une valeur comprise entre 0 € et 100 € alors que d’autres, bien moins
nombreux, ont un montant beaucoup plus élevé.
Et c’est à ce niveau que réside notre problème. Bien
que peu nombreux, ces derniers paniers ont un impact considérable sur le panier
moyen. Et ce n’est pas tout. Le nombre de ces acheteurs est trop faible pour
que nous puissions avoir la certitude qu’il existe une corrélation entre la
version vue et leur décision d’achat. Ils auraient pu acheter et dépenser le
même montant quelle que soit la version vue. Et puis, comme le hasard ne fait
pas toujours bien les choses, l’ensemble des acheteurs « hors norme » n’est
certainement pas réparti équitablement sur l’ensemble des versions du test.
La moyenne est donc très sensible aux extrêmes, et
plus particulièrement si l’échantillon est petit. En réalité, la moyenne n’est
valide que si la variable (montant du panier par exemple) est distribuée selon
une loi normale, ce qui est loin d’être systématique. Mais alors, quels autres
indicateurs avons-nous à notre disposition ?
Une alternative possible : la moyenne
tronquée
L’idée, derrière ce terme quelque peu barbare, est
d’écarter une partie des observations situées aux extrêmes de notre
distribution pour calculer la moyenne. L’objectif étant, bien entendu,
d’écarter autant que possible les valeurs « hors norme » afin de minimiser leur
impact sur la moyenne.
Nous pourrions donc par exemple écarter 5% des paniers
les plus faibles ainsi que de 5% des paniers les plus élevés. Dans notre
exemple, la moyenne tronquée serait alors de 60387 € / 1158, soit 52,15 € au
lieu de 56,17 € pour la moyenne.
Bien qu’intéressante, la moyenne tronquée est un
indicateur qui doit être manipulé avec de grandes précautions En effet, l’on
peut aisément être tenté de supprimer des valeurs pour que le résultat reflète
ce que l’on croit être la réalité. En statistique, il est conseillé de
déterminer ce qu’est une valeur « hors norme » à priori et non à postériori.
L’alternative efficace : la médiane
En pratique, la médiane est la valeur d’une
distribution ordonnée qui permet de séparer cette dernière en deux
sous-populations de même taille. Par exemple : dans la série « 3, 5, 9, 11, 12
», la médiane est 9. Il y a bien deux valeurs plus petites que 9 et deux
valeurs plus grandes.
Dans notre exemple, la médiane serait alors égale à
35,22 €, soit 20,95 € de moins que la moyenne.
Cet indicateur est certainement le plus fiable car il
est très peu sensible aux extrêmes tout en tenant compte de l’ensemble des
valeurs de la distribution. Il est fortement recommandé d’utiliser la médiane
lorsque la variable n’est pas distribuée selon la loi normale. Lorsque celle-ci
est distribuée selon cette loi, la moyenne et la médiane sont alors égales.
En conclusion, la médiane ne serait-elle pas l'indicateur à privilégier dans tous les cas ?
Version française
Version anglaise