A/B Testing

Par  Rémi Mach · Mis à jour le

En résumé

L'A/B testing est une méthode d'expérimentation qui compare deux versions d'un même élément (page, bouton, prix, parcours) auprès d'utilisateurs répartis au hasard, pour garder celle qui produit le meilleur résultat sur un indicateur choisi à l'avance, avec une marge d'erreur connue.

L’A/B testing (test A/B, ou split testing) est une méthode d’expérimentation qui compare deux versions d’un même élément d’un site ou d’un produit (page, bouton, parcours, prix) auprès d’utilisateurs répartis au hasard entre les deux. La version A est le témoin, celle qui existe déjà. La version B est la variante. Au bout d’une durée fixée à l’avance, on compare les deux groupes sur un indicateur choisi avant le lancement, le plus souvent un taux de conversion, et on garde la version qui gagne si l’écart dépasse ce que le hasard aurait pu produire seul.

Le principe vient des essais contrôlés randomisés de la médecine, et le web l’a rendu bon marché : un script répartit les visiteurs, un outil compte les conversions. L’exemple le plus cité reste la campagne de Barack Obama en 2008, où Dan Siroker, futur cofondateur d’Optimizely, a testé plusieurs visuels et libellés de bouton sur la page d’accueil : la combinaison gagnante a augmenté les inscriptions de 40,6 %.

Pourquoi tester plutôt que trancher en réunion

Ronny Kohavi, qui a dirigé la plateforme d’expérimentation de Microsoft, a publié une statistique qui refroidit : sur les idées testées chez Microsoft, environ un tiers améliorent la métrique visée, un tiers ne changent rien de mesurable et un tiers la dégradent. Dans l’autre sens, une modification mineure de l’affichage des titres publicitaires de Bing, restée des mois dans le backlog, a augmenté le chiffre d’affaires de 12 % lors de son test en 2012 (Kohavi et Thomke, Harvard Business Review, 2017).

Personne ne sait donc à l’avance ce qui va marcher, et l’A/B testing sert d’abord à repérer les idées qui font du mal avant de les déployer. Les gains viennent de l’accumulation : Booking.com fait tourner plus de mille tests en parallèle (Stefan Thomke, Harvard Business Review, 2020). Un SaaS B2B n’en fera pas mille, mais une dizaine de tests propres par an sur le parcours d’inscription, dont trois gagnants à 5 ou 10 %, finissent par se voir sur le KPI qui compte.

Test A/B, A/B/n, split URL et multivarié

Le test A/B classique compare deux versions qui diffèrent sur un seul point, le test A/B/n en compare trois ou plus. Le split URL envoie une partie du trafic vers une page entièrement différente : c’est le format d’une refonte. Le test multivarié (MVT) croise plusieurs variables à la fois et mesure leurs interactions, mais il demande un trafic que seuls les gros sites marchands ont.

Comment mener un test A/B en cinq étapes

1. Écrire l’hypothèse

Une hypothèse utile tient en une phrase et dit ce qu’on change, ce qu’on attend et pourquoi. « Si nous remplaçons le titre de la page d’accueil par le résultat obtenu par le client plutôt que par la liste des fonctionnalités, le taux d’inscription augmentera, parce que les entretiens montrent que les visiteurs ne comprennent pas à quoi sert le produit. » Le « parce que » vient de l’analytics, des entretiens ou du support, et il transforme le test en apprentissage, même quand la variante perd.

2. Fixer l’échantillon et la durée avant de lancer

C’est l’étape que les équipes sautent. La taille d’échantillon dépend du taux de conversion actuel, du plus petit écart que l’on veut pouvoir détecter et du niveau de confiance exigé (95 % par convention, avec une puissance statistique de 80 %).

Un ordre de grandeur. Avec un taux de conversion de 8 % et l’ambition de détecter une hausse de 10 % en relatif (de 8 à 8,8 %), il faut environ 18 000 visiteurs par variante, soit 36 000 en tout. À 500 visiteurs par jour, le test dure dix semaines. Pour détecter seulement un gain de 20 %, le besoin tombe autour de 5 000 visiteurs par variante. Le calculateur gratuit d’Evan Miller suffit. La durée se fixe en même temps, deux semaines pleines au minimum pour couvrir le cycle hebdomadaire. Au-delà de deux mois, le test n’est pas jouable à ce trafic.

3. Répartir au hasard et implémenter

Le tirage au sort fait la validité du test. Montrer la version A une semaine puis la B la suivante n’est pas un test A/B mais une comparaison de deux périodes, que la moindre campagne suffit à fausser.

Les tests côté client injectent la variante dans le navigateur par un script : pratique pour modifier une page sans développeur, inutilisable pour une fonctionnalité du produit. Les tests côté serveur passent par des feature flags : le code sert la bonne version à chaque utilisateur, sans redéploiement. Après la connexion, c’est la seule option sérieuse.

4. Lire les résultats sans se mentir

La significativité statistique répond à une question précise : quelle est la probabilité d’observer un écart au moins aussi grand si les deux versions étaient en réalité équivalentes ? C’est la p-value. En dessous de 0,05, on accepte le résultat, en sachant qu’on se trompera une fois sur vingt.

Le piège le plus répandu consiste à regarder le résultat chaque jour et à arrêter dès que la barre passe au vert. Evan Miller l’a chiffré en 2010 dans « How Not To Run an A/B Test » : consulter dix fois un test en cours transforme un seuil affiché de 1 % en un vrai risque d’erreur d’environ 5 %. Les outils récents (VWO, Statsig, Eppo, PostHog) proposent des tests séquentiels ou bayésiens qui autorisent une lecture en continu, sans dispenser de fixer un échantillon.

La métrique principale décide, mais des métriques de garde-fou comme l’activation à sept jours doivent rester stables, ce qui suppose un tracking qui couvre l’entonnoir au-delà de l’étape testée.

5. Décider et consigner

Trois issues sont possibles. La variante gagne et on la déploie. Elle perd et on la retire. L’écart n’est pas significatif et on garde la version A, parce que changer sans preuve coûte toujours quelque chose. Dans les trois cas, le test rejoint un registre : hypothèse, dates, échantillon, résultat, décision. Au bout d’un an, ce registre dit ce que les utilisateurs valorisent, et il évite de retester en 2027 ce qui a perdu en 2026.

Que tester en priorité dans un SaaS

Le trafic étant la ressource rare, on le dépense sur des pages à fort passage et à fort enjeu, avec des changements assez francs pour produire un écart mesurable.

L’ordre habituel commence par la landing page (promesse du titre, preuve sociale, appel à l’action), puis le formulaire d’inscription (nombre de champs, carte bancaire ou non). Vient ensuite l’onboarding : nombre d’étapes, visite guidée ou gabarits prêts à l’emploi, moment où l’on propose d’inviter un collègue. C’est le test au meilleur rendement pour la rétention, et notre guide sur l’onboarding SaaS qui convertit détaille les variantes à essayer.

Le test de prix est à part : la variante la plus chère peut convertir moins et rapporter plus, il faut donc lire le revenu par visiteur et la rétention à trois mois. Notre article sur la transformation d’une idée en SaaS rentable explique comment fixer le prix de départ à partir de la valeur créée plutôt que des coûts.

Les erreurs qui invalident un test

Partir trop petit ou arrêter trop tôt. Avec 200 visiteurs par groupe, deux points de conversion d’écart ne veulent rien dire, la variance naturelle est plus grande que cela.

Lancer plusieurs tests sur le même parcours en même temps : si le titre, le formulaire et l’onboarding changent simultanément, les effets se mélangent.

Ignorer un déséquilibre de répartition. Un test configuré en 50/50 qui affiche 52/48 au bout de dix mille utilisateurs a un problème technique et ses résultats sont à jeter. Les équipes d’expérimentation vérifient ce « sample ratio mismatch » avant toute lecture.

Un exemple chiffré

Un SaaS de gestion de projet reçoit 50 000 visiteurs par mois sur sa page d’accueil, dont 8,1 % créent un compte gratuit. L’équipe pense qu’une démonstration vidéo de 90 secondes, à la place du long texte de présentation, convertira mieux. Trois semaines de trafic permettent de détecter un gain d’environ 10 % en relatif. Le test tourne vingt et un jours sur les nouveaux visiteurs, moitié-moitié. Résultat : 8,7 % pour la vidéo contre 8,1 % pour le témoin, soit 0,6 point, avec une p-value d’environ 0,04. Significatif, de justesse : à une semaine, il ne l’aurait pas été. Sur 50 000 visiteurs mensuels, 0,6 point représente 300 inscriptions de plus par mois, et 15 clients payants si 5 % des inscrits convertissent. Les garde-fous n’ont pas bougé : on déploie.

Les outils d’A/B testing en 2026

Google Optimize, gratuit et très répandu, a fermé le 30 septembre 2023. Datadog a racheté Eppo en mai 2025, OpenAI a racheté Statsig en septembre 2025 pour environ 1,1 milliard de dollars, et Wingify, l’éditeur de VWO, a racheté le français AB Tasty début 2026.

OutilPour quiÀ savoir
PostHogÉquipes produit SaaSOpen source, hébergement en Europe, flags, tests, analytics et replay réunis, un million de requêtes de flags par mois gratuites
GrowthBookÉquipes qui ont un entrepôt de donnéesOpen source, calcule directement sur BigQuery ou Snowflake
Statsig, EppoÉquipes data exigeantesMoteurs statistiques séquentiels, désormais chez OpenAI et Datadog
VWO, AB Tasty, KameleoonÉquipes marketingÉditeur visuel sans code, personnalisation ; AB Tasty et Kameleoon sont français

Pour un SaaS en démarrage, PostHog suffit souvent : un seul outil pour les flags, les tests et les entonnoirs évite les écarts de mesure entre l’outil de test et celui de pilotage.

A/B testing et RGPD

Sur un site public, le test repose sur un cookie qui mémorise la variante de chaque visiteur, donc sur un traceur au sens de l’article 82 de la loi Informatique et Libertés. Le guide RGPD du développeur publié par la CNIL en 2020 rangeait les tests A/B parmi les finalités admises dans l’exemption de consentement de la mesure d’audience. La page de référence de la CNIL sur la mesure d’audience, revue en juillet 2025, ne cite plus cette finalité. La position prudente, celle que nous appliquons, est de faire passer les tests du site public par le bandeau de consentement. Dans l’application, les utilisateurs sont connectés, la base légale est le contrat ou l’intérêt légitime, et la variante s’attribue côté serveur.

Les tests de prix posent une question de plus. Depuis le 28 mai 2022, le Code de la consommation impose d’informer le consommateur lorsqu’un prix a été personnalisé sur la base d’une décision automatisée. Un test tire la variante au sort sans personnaliser, mais la frontière est fine, et en B2B le risque est commercial : un prospect qui découvre que son collègue a vu un tarif inférieur ne revient pas. Nous testons la présentation des plans et les paliers du pricing plutôt que le prix d’un même plan, et nous honorons le prix affiché à quiconque l’a vu.

FAQ A/B testing

Combien de temps doit durer un test A/B ?

Le temps d’atteindre l’échantillon calculé avant le lancement, et au minimum deux semaines pleines pour couvrir le cycle hebdomadaire. Un test qui demanderait plus de deux mois n’est pas jouable à ce niveau de trafic. Il faut alors tester un changement plus franc ou une page plus visitée.

Peut-on faire de l’A/B testing avec peu de trafic ?

En dessous de quelques milliers de visiteurs par mois sur la page concernée, rarement. On réserve alors les tests à de grosses variations (refonte d’une page, suppression d’une étape), dont les écarts de 20 % ou plus se détectent avec quelques milliers de visiteurs par variante, et on complète par la recherche utilisateur, qui apporte du signal sans volume.

Quelle différence entre un test A/B et un feature flag ?

Le feature flag est le mécanisme technique qui active une version pour un groupe d’utilisateurs. Le test A/B est l’expérience qui utilise ce mécanisme avec une répartition aléatoire et une lecture statistique. On peut déployer progressivement avec un flag sans jamais tester, mais pas tester côté serveur sans flag.

Comment Polara Studio utilise l’A/B testing

Chez Polara Studio, nous posons les conditions du test dès le premier sprint : des feature flags dans le code, un plan de tracking qui couvre l’inscription et l’activation, PostHog hébergé en Europe pour relier les deux. Chaque fonctionnalité livrée peut ainsi sortir à 10 %, puis 50 %, puis 100 % des comptes, et être comparée au groupe témoin.

La plupart des SaaS B2B que nous accompagnons n’ont pas le volume pour plus d’une poignée de tests valides par an, et nous les réservons à l’inscription et à l’onboarding, où l’enjeu justifie d’attendre trois semaines. Sur Actelo, notre propre SaaS, ce dispositif nous permet de suivre un taux d’activation supérieur à 80 % et de vérifier chaque changement du parcours avant de le généraliser. Une démarche data-driven se reconnaît à ses tests placés là où une décision en dépend.

Prêt à transformer votre idéeen produit ?

Programmez un entretien découverte avec nos experts pour définir ensemble vos priorités et identifier la meilleure approche pour votre projet.

Discutons de votre projet