01 Jun 2013 21:21
15 kommentarer
Denne uge deltog jeg i Marketing Camp (i øvrigt et fantastisk arrangement). Der hørte jeg, at det blev anbefalet ikke at split-teste, førend man havde brugertestet. Det er jeg stærkt uenig i og deler derfor en case, man aldrig kunne have brugertestet sig frem til.
(Det skal lige bemærkes, at jeg ikke er modstander af brugertests. Som det eneste, jeg altid får gjort udfører jeg dem halvårligt på begge mine shops og tog sågar til Stockholm for at lave nogle på den svenske Faktorfobi).
Nå... Til business. Der er egentligt ikke så meget at fortælle. Jeg skulle afprøve noget i Google Analytics Experiments og satte derfor en split-test op på forsiden af Kondomaten. Herunder kan du se de to varianter. Det er næsten kun teksten, der er ændret (og så produktet, der promoveres).
Den oprindelige version
Varianten
Resultatet fra Google Analytics Experiments
Som du kan se, kan jeg gå hjem med en side, der konverterer 80% bedre end den, jeg kom med (rigeligt til mig).
Jeg har efterhånden lavet mere end 100 brugertests og har endnu aldrig oplevet at en test-person sagde "jeg ville ønske, der stod noget andet i overskriften - f.eks. "gratis fragt".
Så hvis du aktivt arbejder med din webtekst, så vil jeg kraftigt anbefale dig, at du split-tester disse ændringer. Alternativt "gætter du" og løber en risiko for at miste gysser.
Jeg er imponeret, havde du spurgt mig inden du testede ville jeg have sagt at den med gratis fragt ville konvertere bedre, men 80 % er jo helt vildt. Jeg sidder godt nok og tænker at jeg har jo overhovedet ingen tekst på Nutriworld forsiden, hvis sådan en ændring kan konvertere så meget skal jeg da vidst igang..
Jeg er helt enig i, at alt ikke kan brugertestes, og at man ikke skal være bange for bare at teste en indflydelse.
Jeg mindes at jeg på et tidspunkt læste en case fra Apple hvor Steve Jobs kom ind på, at hvis de skulle have lavet iPod'en på baggrund af brugertests og -feedback, så var den aldrig blevet opfundet. Det synes jeg maner til eftertænksomhed...
Lad jer ikke forblinde af denne test. Som Morten også pointerer, så er brugertest et fint værktøj.
Der er forskel på værktøjer og de kan bruges til forskellige ting og det er derfor ikke et 'enten-eller' men er 'både-og'. Pointen fra MC13DK var nok tiltænkt dem er slet ikke var kommet i gang med at split-teste. For dem vil en brugertest finde en masse lavthængende frugt til at komme i gang med.
Morten er jo i fuld gang og har allerede høstet de lavthængende frugter og er derfor slet ikke målgruppen for udsagnet: 'start med en brugertest'.
Hej Morten
Jeg hørte Pottercut forleden hvor Benjamin Gundgaard havde samme teori om splittests. Når du nu kan måle så stor forskel på de 2 forsider, hvorfor er det så at det er den "dårlige" der er online nu?
@Jens du havde jo travlt med at fotografere, så hørte nok med med et halvt øre. Der blev sagt, at det var forkert. Ikke noget med "det bør nybegyndere ikke gøre". Jeg er meget påpasselig med at dømme noget "forkert", førend jeg har set tal for det.
@Carsten De er begge online. Jeg kører opfølgnings test for at sikre mig resultatet. Egentligt ikke nødvendigt i tilfældet her, men nu gør jeg det. Men der er også en anden grund. Kan du virkeligt ikke regne den ud? ;-)
Det er forskellige værktøjer, der hver har deres berettigelse.
Analytics hjælper dig med at finde ud af, hvor der er problemer, brugertests hjælper dig med at finde ud af, hvad problemet er, splittesting hjælper dig med at finde ud af, hvad den rigtige løsning er.
I nogle situationer er det vigtigt, at den ene kommer forud for den anden, i andre er det ikke så væsentligt. Jo mere, du ved om dine potentielle kunder, før du går i gang med at teste, jo mere kvalificerede tests, kan du lave. Men det behøver ikke altid være en brugertest, der giver dig din data. I forbindelse med webtekst på en vigtig landingside giver fx bedre mening at interviewe potentielle kunder om deres behov og problemstillinger, end at sætte en brugertest op på den ene landingside.
Man skal også huske, at en brugertest giver kvalitativ indsigt, og at en splittest giver kvantitativ indsigt. De fleste brugertests, jeg har været involveret i, har bestået af en undersøgelse med 10 brugertestere. De fleste splittests, jeg har lavet, har bestået af en stikprøve på mindst 10.000 potentielle kunder - dvs. en stikprøve, der er 1000 gange større. Alt andet lige, får jeg mere ro i maven af en test med 10.000 potentielle kunder, end en med 10...
Sidst men ikke mindst skal man også huske, at en brugertest er en "kunstig situation" - i og med at du stiller nogle udvalgte brugere en opgave, som de skal løse. De er fuldt bevidste, i "analyse-mode" og grænsker deres beslutninger.
I en splittest er din målgruppe ikke klar over, at de er med i et eksperiment. Derfor får du deres ærlige og umiddelbare reaktion på det, du udsætter dem for. Jeg har lavet masser af tests, hvor den kvalitiative dataindsamling har tydet på, at version B var den bedste. Efterfølgende har den kvantitative undersøgelse så vist, at der slet ikke forholdt sig sådan i virkeligheden, og at variant B var den helt forkerte løsning.
Så i forbindelse med fx radikale ændringer af et betalingsflow eller at redesign ville jeg helt klart lægge ud med at brugerteste - ingen tvivl om det (det har jeg i øvrigt lige gjort i 4 forskellige projekter). Men i forbindelse med fx at definere den rigtige overskrift på en landingside eller at finde den rigtige formulering til en vigtig CTA-knap, ville jeg droppe brugertesten og gå direkte til splittesten.
Det store problem med splittesting er, at mange ikke har den fornødne viden til at lave værdifulde tests. Fx ser jeg utroligt mange, der ikke ved, hvordan man opbygger en ordentlig tese for sine tests - hvilket er afgørende. Jeg ser endnu flere, der ikke ved, hvordan man bedømmer, hvorvidt en test er valid. Hvis du stoler på dårlig data, kan du lige så godt lade være med at teste....?
Nu ved jeg ikke præcis hvilket foredrag du hentyder til med brugertest før splittest, men i det foredrag jeg hørte, talte han ikke om tekst rettelser, men om større ændringer i købsflowet. F.eks at indføre et tvungent valg om "andre brugere købte, vil du også", osv.
Men for at blive ved din test, er det godt gået! Vildt at der er så stor forskel på de to.
Hej Morten
Nææ - Jeg tjekkede dit site i 3 forskellige browsere og fik samme forside, derfor troede jeg du havde afsluttet testen.
Nej umiddelbart kan jeg ikke regne ud hvad den anden grund er - måske skulle jeg ikke være droppet ud af 8. klasse:-)
Gad vide om det kun er sætningen "gratis levering" som de besøgende reagerer på, eller om det er hele den forenklede tekst på siden?
@Carsten Hvad tror du, der sker med min placering i Google, hvis jeg fjerner ordet "kondomer" fra overskriften?
Jeg skal ved lejlighed have fundet en mellemvej og have den implementeret.
@Casper Pilsgaard Jeg hørte det under et af de 72 lyn-tips og som det bliver nævnt her havde jeg faktisk også hørt det i et Pottercut. Jeg synes generelt, I skal henholde jer til Michael Aagaards kommentar her på siden. Jeg er af samme holdning. Postede bare testen her for at nuancere påstanden om, at det er forkert at split-teste uden først at brugerteste.
Modtaget:-)
Jeg var ikke gået i dybden med din side og set det var et H1 tag, jeg troede blot det var et stykke grafik.
Hej Morten - det er en meget spændende diskussion synes jeg (som en der selv laver både konverteringsoptimering og brugertest). Mit bidrag bliver at sige, at jeg tror man skal differentiere tingene lidt. At sige at man ikke skal lave split-test uden først at lave brugertest er jo alt for generaliseret og dermed lidt ukvalificeret.
Brugertesten skal jo skabe indsigt i hvor brugerne har problemer ift. til relevante opgaver de skal løse på sitet. Hvis de tænker højt kan man få lidt indsigt i hvad der foregår når de interagerer. Det er altid meget værdifuldt hvis man skal re-designe eller kvalitetssikre. Men problemet i relation til splittest er bare at det nogle gange er beslutningsprocesser der testes og de ofte så ubevidste at du ikke kan spørge til dem. Det pointerer du også selv omkring overskriften, du kan ikke teste den i en brugertest. Så alene der mener jeg ikke det er korrekt at bede om en brugertest før en splittest.
Brugertesten (som jeg også mener fx Benjamin Gundgård henviser til i hans pottercut) giver væsentligt input til en optimeringsproces. For at sige det lidt kort, så er det jo et stærkt værktøj i brugeranalyse og det er værdifuldt input til især designhypoteser - som jo ligger forud for design og split-test.
Så i min optik er brugertest stadig mere værdifuldt i relation til optimering, særligt når man starter sin proces - og måske ikke så meget når man er nået til for 20'ende gang at teste små detaljer på sit kondomsite.
I virkeligheden er det ekspertvurderingen der er særligt interessant for splittesten, fordi meget optimering handler om online marketing og ikke om usability. Derfor er det ubevidste og særdeles emotionelle beslutningsprocesser der styrer brugernes valg og dem kan ikke engang brugerne selv sætte korrekt ord på. Ergo er det test og erfaring og god gammeldags viden der er input til den proces. Ikke brugertest :-)
Altså: Det handler som sædvanligt blot om at vælge den rigtige metode til opgaven.
-Sorry det blev langt, men nu gik det lige så godt...
Jeg synes, at du skal teste med teksten "Gratis kondomer" - så har du stadig "kondomer" i forhold til Google, og jeg er sikker på, at konverteringen får rejsning ;-) Det giver så muligvis lige et andet problem.
Forskellen kommer muligvis, fordi du fremhæver fordelene ved en vare i stedet for ved butikken. Som bruger ville jeg tænke, at "det kan de andre butikker også tilbyde", men når ud fremhæver fordelen ved varen, så er det ulig meget nemmere at få noget smidt i kurven. Måske du bør teste den med en Læg i kurv-knap på forsiden, medmindre du har et stort mersalg på undersiderne.
Jeg undrede mig også over det samme udsagn til Marketing Camp. Brugertest er noget mere tidskrævende, og så tror jeg ikke, at man får split-testet nok, hvis der skal være en indledende brugertest hver gang. Jeg vil mene, at brugertest vil give mest mening, når man skal teste brugerens interaktioner og ikke påvirkningen af deres underbevidsthed. Men det er jo nærmest religion.
Til gengæld fortalte Benjamin Gundgaard på Marketing Camp om en butik, der ville splitteste en større ændring, som han egentlig ikke ville anbefale, og det kostede dem 50 % af omsætningen den dag. Så turde de ikke køre videre med den.
Tak herfra.. Interesant hvad en lille ændring på ens hjemmeside kan gøre...
Jeg undre mig dog lidt over at det ser ud til du er vendt tilbage til den gamle version igen.. eller er det bare mig der misforstår det ?
Brug dit eget navn - ikke sådan noget "billig arganolie" eller "mobilt bredbånd"
Morten 01/06/13 21:32
Det var da noget af en forbedring! Havde det nye produkt på forsiden nogen indflydelse? Eller var det ene og alene teksten, som gav ekstra?