Tip:
Highlight text to annotate it
X
Video 5: AdWords Campagne Experimenten: Inzicht in uw experimentresultaten en statistische significantie
Tijdens stap 3 van het instellen van een campagne- experiment voert u een experiment uit
en houdt u de resultaten bij. In deze les krijgt u inzicht in de resultaten die u
tijdens het experiment kunt ontvangen.
Terwijl uw experiment loopt, worden er gegevens geregistreerd voor uw controle- en
experimentgroepen op campagne-, advertentie- groep- en zoekwoordniveau. Als u geen
afzonderlijke controle- en experimentrijen ziet op een van uw tabbladen, schakelt u deze in
door op 'Segmenteren' en vervolgens op 'Experiment' te klikken.
Naarmate u meer resultaten ontvangt, ziet u aanduidingen van statistische significantie
in de interface waarmee u kunt bepalen of de statistieken die u vergelijkt, inderdaad
verschillend zijn.
Een statistisch significant verschil is een verschil dat waarschijnlijk niet toevallig is.
Als een waarde niet statistisch significant is gewijzigd, heeft uw
experimentele wijziging weinig effect.
Een grijs pictogram met twee pijlen geeft aan dat een waarde niet statistisch significant
is gewijzigd. Een eventueel verschil kan zijn veroorzaakt door ruis.
Bij een pictogram met een pijl naar boven is een waarde in statistisch significante mate
toegenomen. Als u de wijzigingen in het experiment op alle veilingen zou toepassen,
zou deze waarde waarschijnlijk toenemen.
Bij een pictogram met een pijl naar beneden is een waarde in statistisch significante mate
afgenomen. Als u de wijzigingen in het experiment op alle veilingen zou toepassen,
zou deze waarde waarschijnlijk afnemen.
Er zijn voor deze pictogrammen drie niveaus die aangeven hoe zeker u ervan kunt zijn
dat uw resultaten toe te schrijven zijn aan uw wijzigingen en niet aan toeval:
Eén pijl omhoog of omlaag geeft aan dat er 95% kans is dat de waarde zal toe- of afnemen.
Uit de statistieken blijkt dus dat wanneer u uw experimentwijzigingen volledig doorvoert,
er slechts een kans van 5% is dat de waarde niet zou toe- of afnemen
onder gelijke omstandigheden.
Twee pijlen omhoog of omlaag geven aan dat er 99% kans is dat de waarde zal toe- of afnemen.
Uit de statistieken blijkt dus dat wanneer u uw experimentwijzigingen volledig doorvoert,
er slechts een kans van 1% is dat de waarde niet zou toe- of afnemen
onder gelijke omstandigheden.
Drie pijlen omhoog of omlaag geven aan dat er 99,9% kans is dat de waarde zal toe- of afnemen.
Uit de statistieken blijkt dus dat wanneer u uw experimentwijzigingen volledig doorvoert,
er slechts een kans van 0,1% is dat de waarde niet zou toe- of afnemen
onder gelijke omstandigheden.
Wanneer u een experiment uitvoert met experiment- en controlegroepen met een andere verhouding
dan 50/50 (bijvoorbeeld 70/30 of 20/80), kunnen de statistieken
voor uw controle- en experimentgroepen niet één-op-één worden vergeleken. Stel dat u
een experiment in een verhouding 90/10 uitvoert. Als u verder niets wijzigt, verwacht u
900 vertoningen in de controlegroep voor elke 100 vertoningen in de experimentgroep.
Als u 900 vertoningen voor uw controlegroep ontvangt en 400 voor uw experimentgroep,
betekent dit een statistisch significante stijging in het aantal vertoningen,
omdat 400 veel meer is dan de 100 vertoningen die u zonder wijzigingen zou verwachten.
Dat betekent dat u meer vertoningen zou kunnen ontvangen als u uw experimentwijzigingen doorvoert,
hoewel 900 op het eerste gezicht duidelijk meer lijkt dan 400.
Een 50/50-verdeling is veel eenvoudiger te vergelijken, omdat waarden vergelijkbaar zijn
als uw wijzigingen geen effect hebben. Veel campagnes ontvangen te weinig verkeer
om goede conclusies te trekken uit een andere verdeling dan 50/50. Daarom raden we aan
in de meeste gevallen 50/50-experimenten uit te voeren, tenzij u berekeningen wilt loslaten
om het procentuele verschil voor de waarde te berekenen wanneer de wijzigingen
op alle veilingen zouden worden toegepast.