04 Mar 2010 07:28
33 kommentarer
Super med en gæsteblogger, der har en rigtig fed case med under armen.
Godt arbejde Mogens, og fedt, at du deler dine erfaringer.
Rigtig fin case, og tillykke med din nye Bounce rate. Vi har alle sammen en ide om hvad der virker og ikke virker, men som Morten også selv ville have sagt, så kan man kun være sikker ved at teste det.
Det er simpelthen for dyrt at gætte sig til hvad der virker.
Endnu et super indlæg der viser hvor vigtigt det er at teste og hvor stor værdi der ligger i Google website optimizer! Tillykke med den nye lave bounce rate
Meget interessant case.
Vi lavede oprindeligt vores design så lidt støjende som muligt, hvilket giver en lav afvisningsprocent (21 på forsiden, selvom der ikke er nogen call to action). Brugerne er glade for det enkle design, men for lidt støj (dvs. tydelige call to actions) giver til gengæld en ringe konverteringsrate.
Super spændende indlæg - meget lærrig!
Men før man kan vurdere om denne splittest er repræsentativ, bør man vel vide hvor mange der er involveret i undersøgelsen..
Men spændende post :-)
Endnu et rigtigt godt indlæg. Har fulgt med i casen på Twitter, men dejligt med lidt opfølgning på hvordan testen blev udført.
Tim
Kanon godt indlæg om dit lille galleri. Du er virkelig kommet langt på kun et halvt år, og så er det jo altid dejligt at se flere eksempler på GWO-resultater som man aldrig kunne have gættet sig til!
Du bruger hele tiden bounce rate som målsætning for dine tests, men hvordan har du sat det op? Mig bekendt kan GWO kun måle på om en besøgende når frem til en bestemt side, så hvordan har du målt på bounce-raten på de forskellige varianter under testen?
Fantastic case, Mogens. As you also found out, reducing distractions on homepage actually helps. (We also reduced amount of text on VWO homepage for the same reason). Plus your original design has blocks design so the arrow gelled into it and looked like just another image on the page. Another point that you can test is left v/s right location of the newsletter box.
Great, detailed post.
Mange tak for tilbagemeldingerne på indlægget. Jeg er super glad for, I kan bruge det til noget.
@Nikolaj Bomann Mertz
Der havde været ca. 5.000 besøgende i alt på de to forsider, da jeg skrev indlægget.
@Jacob Worsøe
Det er super enkelt. Du skal blot en smut forbi Google Analytics og dykke ned i punktet indhold, hvor du kan se sidevisninger, gennemsnitlig tid, afvisningsprocent osv. på alle dine sider inkl. dine splittest varianter.
@Johnny Speiermann
Tak for feedback. Jeg er ikke helt enig med dig i, man generelt kan sige, at mindre støj og tydelige CTA giver lavere konverteringsrate. Det handler jo netop om ikke blot at skyde brugerne videre fra forsiden og så tabe dem efterfølgende. Hvis denne bounce rate optimering skal føre til øget konvertering, er det som sagt vigtigt, at optimere hele vejen igennem shoppen med. Gør man det, er jeg overbevist om, at konverteringsraten også vil stige.
@Paras Chopra
Good point regarding the left vs. right location of the newsletter box. I will test that in near future. Until now I've only tested design of the newsletter box but of course placement is important too.
@Mogens. Jeg mente også modsat - CTA giver bedre konverteringsrate - vi har ingen rigtige CTA og derfor en lav konvertering, men et lavt støjniveau er til gengæld for os en god metode til at holde brugerne på siden (men med manglende CTA kan det jo så være lige meget). Og selvfølgelig skal en CTA føre til noget meningsfuldt - det hjælper ikke meget at sende folk rundt i blinde.
Mogens: Ahh, det kan jeg godt se. Men det kan så kun bruges hvis man kører A/B-test hvor brugerne kommer over på unikke URL'er. Det kan derfor ikke bruges i en multivariate-test, hvor brugeren bliver på den samme side og man bare udskifter indholdet.
Men hvorfor har du egentlig valgt at fokusere på bounce-rate? Bounce-raten er jo en glimrende måde at finde sider der ikke performer optimalt, men det ultimative mål er vel stadigt at få brugerne til at konvertere bedre. Så hvorfor ikke sætte ordrebekræftelsen som mål i GWO og så bruge konverteringsrate til at finde vinderen ud fra, istedet for en lav bounce-rate. En lav bounce-rate er jo ikke garanti for flere ordre :)
Hej
Super indlæg. Denne debat bringer jo en helt ny dimension til SEO som psykoanalyser mm. Ting som hvilke farve der stimulerer øjnene samt dynamik i hjemmesiden der bringer læserens blik derhen hvor man ønsker.
Det er i virkeligheden ret spændende!
@Johnny Speiermann
Okay, helt fint. Så misforstod jeg dig blot :-)
@Jacob Worsøe
Det er fuldstændig korrekt. I disse tilfælde kan Visual Website Optimizer så passende komme ind i billedet med dette kick-ass Google Analytics plugin:
http://visualwebsiteoptimizer.com/split-testing-blog/say-hello-to-google-analytics-plugin-for-visual-website-optimizer/
Jeg har skrevet bloginglægget ud fra bounce rate simpelthen fordi, vi ikke har nok konverteringer til at konkludere noget ud fra. Men kan da fortælle at tendensen i konverteringerne peger i samme retning som bounce rate resultaterne.
Spændende indlæg.
Fantastisk med test der viser brugernes adfærd.
Jeg synes webdesignet på Lasttouch er visuelt pirrende og flot - 0g/(men) også sprængfyldt med information.
Sjovt med en pil som knap.. den virker jo dobbelt (som du også ønsker): enten klikker man på den eller kigger hvor den peger og klikker her - dvs enten på videoerne eller på nyhedsbrevet.
Jeg blev da lokket til at se et par videoer da jeg første gang gik ind på siden - de er også rigtig gode.
Det eneste jeg synes er overflødigt på begge versioner af forsiden er billedet med fri fragt.
Det er selvfølgelig en rar detalje men det er vel ikke afgørende i den sidste ende hvis folk skal købe et maleri?
Skal du ikke først forføre dem til at se på og finde et maleri og så siden give dem mere lyst til at købe når de finder ud af at det er problemfrit og gratis at få malerierne fragtet hjem.
Det var bare en tanke - og måske et middel til endnu en forenkling af forsiden.
Fortsat held og lykke med det spændende projekt/webshop.
Vh. Bo
Mogens: Ja, VWO har en masse fordele i den retning, f.eks. deres engagement goals: "Engagement conversion goal is triggered if a visitor clicks on any link on the page. Increased engagement rate means you are decreasing bounce rate. Engagement rate = 100% - Bounce Rate."
Ganske som du påpeger så vil en lavere bounce-rate, alt andet lige, også give flere konverteringer, min pointe er bare at det ikke er nogen garanti for det. Man skal også passe på med at glæde sig alt for meget, bare fordi man får mange til at tilmelde sig sit nyhedsbrev, hvis omsætningen ikke også følger med på sigt.
Jeg kan godt forstå at du vælger at kigge på bounce-rate istedet for konverteringer da det kan tage lang tid at køre en test færdig med 2-3 ordre om dagen. Du skal bare lige være opmærksom på at dit signifikansniveau (sikkerheden for at testens resultat holder i virkeligheden) ikke bliver bedre ved at ændre dit mål fra en ordre til bounce-rate. Din stikprøve størrelse er stadig den samme, og det er det der er afgørende. Læs eventuelt mere her: http://www.jacobworsoe.dk/statistikken-bag-google-website-optimizer-14/
Bo: Jeg vil dog mene at fri fragt er en så vigtig USP for en webshop at man godt kan skilte med den allerede fra starten, da det kan give incitament til netop at fortsætte rundt i butikken for at finde et fedt maleri.
Men hvad jeg mener er jo fuldstændigt ligegyldigt, det skal selvfølgelig afgøres i en test. Målinger fremfor meninger, som Jesper Buch siger :)
Enormt spændende indlæg, som gjorde mig væsentlig klogere på, hvordan man kan bruge analytics (er lige startet på det).
Jeg vil gerne knytte en kommentar på din konklusion om, at simpelt design er løsningen, fordi det er det jeg ved noget om (jeg holder mig derimod helt fra at kommentere på noget som helst SEO relateret;). Jeg er ganske enig i dig med, at simpelt design ofte er godt, men hvad hvis nu, at du af en eller anden årsag var nødt til at bibeholde alle de informationer på forsiden som du havde før?
Set ud fra et designsynspunkt, så havde din gamle forside, omend ganske spiffy i stilen, med bløde runde hjørner og behagelige dropshadows, ikke så mange kontraster. Jo, én: farvekontrast, den grønne pil stod frem, da den anden farve der er brugt er rød.
Men: alt din brødtekst er stort set samme størrelse, alle grafikker/fotos fylder stort set det samme. Alle elementer har den samme afstand til hinanden, de har alle den samme form (rektangulær).
På din nye forside har du derimod tekst der er synligt større end resten af teksten (find dit drømmemaleri her), et billede der er større end alle andre elementer på siden (det med den røde sofa), og du har endda gjort den boks rød som er den vigtigste (nyhedsbrevet). Så på din nye forside har du benyttet dig af størrelseskontrast og tonekontrast.
Konklusion: din første forside hjalp ikke brugeren med at tage stilling til hvad der er vigtigste, og hvor de skal klikke (som du også selv konkluderer), men løsningen behøver ikke være at fjerne elementer, det kan være at fremhæve nogen fremfor andre og det kan godt være at det er fremhævelsen af vigtige elementer der har været medvirkende til den øgede konverteringsrate, og ikke simplificeringen af designet....
Meget lang smøre, for at forklare noget enkelt;) Håber det giver mening, tak for superindsigtsfuldt indlæg og case!
God kommentar om kontraster - Malene
Jacob det er rigtigt at man ligeså godt kan fortælle folk om alle de fordele de har ved at handle lige netop i denne shop.
Jeg synes bare ikke det er så væsentligt i lige netop denne form for shop.
Forholdsmæssigt er fragten vel lille når man nu skal investere i et maleri.
Når man sælger kondomer (!) så giver det sikkert rigtig mange konverteringer at slå på den fri fragt.
Men når man vil købe et maleri så tror (!) jeg ikke at fri fragt eller ej er det der får een til at bounce på en forside.
Det Lasttouch sælger/lejer ud er jo luksusvarer - måske er salg af malerier mest luksus fremfor leje - men det man signalerer med fri fragt appelerer jo til en form for "discount".
Det kan selvfølgelig lyde mærkeligt at noget der er gratis er discount - det er det selvfølgelig ikke.
Den fornemmelse jeg har når jeg ser så meget plads sat af til fri fragt - er at det er overflødigt.
Måske er det også fordi informationen "fri fragt" er placeret ovenpå et billede af en landevej - det generer lidt - når man nu kigger efter malerier...;-)
Specielt i den enkle version synes jeg heller Mogens skulle bruge pladsen på en appeticer af et tilfældigt maleri eller bare informationen som tekst-grafik, men det er jo bare min mening..;-)
Nå - men som du siger så kan man sikkert teste sig til hvordan det virker på andre brugere.
Vh. Bo
@Jacob: sometimes split testing with bounce rate as a goal remains the only viable option. Take for example this recent case study, http://visualwebsiteoptimizer.com/split-testing-blog/using-ab-split-testing-reduce-bounce-rate-ecommerce-store/ where an eCommerce store did A/B test on their homepage for Bounce Rate (similar to what Mogens has done).
When I asked them why did they not choose sales as a goal, their answer was convincing: since they sell paintings their sales requires talking on phone with customers, bargaining, deciding on price and crafting a personal relationship with the customer. Some of the sales happen 30 days after the initial visit so accurately tracking it and attributing it to the A/B test becomes difficult.
Therefore they chose bounce rate as a goal - idea being if they can reduce bounce rate, they will have more people to look at the paintings and potentially more sales. I know this is a convoluted way, but the only way they could do a test.
Bevist endnu engang at KISS er kommet for at blive :-) Det virker ganske enkelt. Min partner i min tidligere virksomhed sagde altid "Hver gang du tilføjer et element, så tag to væk". Det har jeg taget til mig som en tommelfingerregel, og det er faktisk også det du beviser virker :-) Fedt site i øvrigt, Mogens.
Igen mange tak for inputs alle sammen. Det er super spændende og lærerigt.
@Malene Hald
Rigtig spændende indspark. Jeg tror, du har ret langt hen af vejen.
@Bo Kalvslund
Mht. fragten. Selvom vi sælger og udlejer malerier, vil jeg ikke betegne vores produkt som eksklusivt. Vores malerier er i den billige ende. Det fleste af vores malerier kan lejes for 50 kr. pr. måned.
Ligesom Jacob mener jeg, netop gratis fragt er så vigtig USP for os, at den skal fremhæves på forsiden. Det er højst usædvanligt, man kan leje et 200x200 cm. maleri for 75 kr. i måneden og så få det leveret gratis. Det er noget folk sætter pris på og det adskiller os fra vores konkurrenter. Men igen - den bedste løsning er jo at teste det :-)
@Jacob Worsøe
Jeg er godt med på lavere bounce rate ikke automatisk er lig med højere konverteringsrate. Det er ikke selvsagt, at denne forsideoptimering vil give os mere salg. Men mange bække små... gør en høj konverteringsrate :-)
@Paras Chopra
How do you understand any of this? :-) Are you using Google Translate or...?
@Steen Olsen
Ja, KISS er godt at have i baghovedet. Tak for de flinke ord.
Yeah, Google Translate to the rescue. There are some products that Google really shines at :) And then there are others... you know which product I am talking about ;)
GENIAL case! Og vel udført!
En kommentar dog: Man kan argumentere for, at i det nye design har brugeren ikke andre valmuligheder end at klikke sig videre. Og derfor har det ganske naturligt en lavere bounce rate.
Forestil dig den gamle side vs. et ekstremt case, hvor "forsiden" kun består af 3-4 USP'er, og en stor, fed CTA-knap. Man vil simpelthen være nødsaget, ja næsten draget til, at klikke sig videre for at læse mere, uanset om det er relevant eller ej.
Men det er kun et løst argument. Personligt tror jeg på at den nye forside performer mega meget bedre, også når det kommer til CR. Omend jeg også tror at din bounce rate er en smule "kunstig" lav pga. ovennævnte effekt.
Jeg synes desuden at det er fedt at høre, at du har lagt usability test til grund for dine ændringer. Som "ekspert" er man ofte totalt farvet af hvad man laver, og kan ofte ikke se hvor det går galt. Selv simple coffee shop usability tests giver ofte forbløffende resultater. Og en hel del kameler, der skal sluges :-)
@Paras: Your case is very true!
People have a tendency to focus a bit too much on CR IMHO, which can be dangerous if you're in a business where people take long time to convert and you measure Conversion Rate = Sales / VISITS * 100.
In that case it makes sense measuring CR against VISITORS instead, but then you'd need another Analytics Package other that GA that is capable of this.
But I guess this is an age old argument raging in Web Analytics circles :-P
I øvrigt er casen også et knaldgodt eksempel på, at man skal teste de store ændringer, for at hente de store forbedringer!
Farver på knapper, små ændrede ord etc. er noget man bør teste senere i forløbet, og i starten hente de store fordele.
(Alt dette selvfølgelig med forbehold, for der er masser af eksempler på, at selv helt små ændringer skaber STORE forbedringer - fx arbejder jeg på en case, hvor jeg ændrede ét ord og konverterede 284% bedre)
Hold da op, Kjeldsen. Hvad ændrede du? "1000,- kr" til "Gratis", for så er det jo ikke så imponerende ;o)
Ændringen var noget mere subtil end det - og jeg twittede om den her:
http://twitter.com/kjeldsen/status/7229136382 (hvormed det så også fremgår at jeg har formuleret mig forkert: det er ét ord, der blev ændret til to)
Ændringen var "Shop" => "Køb udstyr", og ændringen blev foretaget her:
http://bartendermagasinet.dk/ - menuen i toppen af sitet :-)
Testen blev i øvrigt kørt over 3-4 måneder, og der var - så vidt jeg husker - 6 eller 7 variationer i den.
Så fik du lige en case mere.
@Søren Sprogø
Jeg er helt enig i dine betragtninger omkring bounce rate. Jeg overvejede også at lave en fuldstændig simpel forside blot indeholdende en stor CTA. Men det kan jo også tage overhånd. Man skal huske f.eks. også at give de tilbagevende besøgende mulighed for at dykke direkte ned i produktmenuen, læse nyheder osv.
Faktisk er netop du årsagen til jeg benyttede mig af usability test. Da jeg hørte dig omtale coffee shop usability tests i PotterCut, noterede jeg ned på to-do listen, at jeg skulle få usability testet websiden. Vores lille snak over frokostbordet på ShopCamp 2010 fik mig så til at gøre alvor af ideen :-)
@Michael Kjeldsen
Man kan helt sikkert både teste små og store ting - og få resultater af begge. Jeg gider blot ikke "blokere" min forside i flere måneder, fordi jeg skal teste en lille testrettelse. Det har jeg ikke tålmodighed til :-)
@Mogens Møller
Absolut ikke, og jeg er stor fortaler for, at ROI'en på testen er eksisterende.
Og jeg er slet ikke fortaler for, at man blokerer FORSIDEN med små, relativt ligegyldige ændringer. Dem kan man smide ud på små undersider, og hvis så resultatet er interessant, så kan man prøve forside-/sitewide tests :-)
Jeg vil lige gøre opmærksom på at jeg har medtaget denne case på min liste over danske split-test cases. Den skal nok kunne give inspiration til mange andre derude:
http://www.jacobworsoe.dk/danske-split-test-cases-17/
Hvis man lige skal følge op på Mogens' teori om at holde det simpelt, så bliver det også bakket op af Firefox' seneste multivariant test http://blog.mozilla.com/metrics/2010/03/22/addition-by-subtraction/
Monster fed case! Der er ikke noget bedre end en ordentlig spilt-test med tydelige resultater.
Apropos CTA - jeg har selv nogle interessante CTA-cases på min blog, som måske kan få lidt inspiration fra...
Brug dit eget navn - ikke sådan noget "billig arganolie" eller "mobilt bredbånd"
Brian Brandt 04/03/10 08:24
Rigtig godt indlæg - der er ikke noget bedre end hands-on eksempler. Simpelt er altid bedre - men kan sagtens forstå, at man gerne liiige vil have en roterende fætter ind i midten der kan hive noget opmærksomhed og vise at man bare er den sejeste udvikler :-)