Ako testovať ceny bez unáhlených záverov
Konferenčný príspevok o presnosti cenových experimentov na úrovni skupín a časového striedania podmienok pripomína, že porovnávanie cien vyžaduje premyslený návrh. Samotný názov neumožňuje hodnotiť účinnosť konkrétnej metódy.
Najprv si určte otázku
Testujete ochotu zaplatiť, počet objednávok alebo celkový zisk? Každý cieľ môže viesť k inému rozhodnutiu. Vyberte jednu primárnu metriku.
Pozor na čas a rozdielne skupiny
Víkend, sezóna, reklama alebo dostupnosť produktu môžu ovplyvniť predaj aj bez zmeny ceny. Porovnávajte obdobia a skupiny tak, aby sa zbytočne nemiešali rôzne vplyvy.
Nerobte závery z pár objednávok
Malá vzorka a náhodné výkyvy môžu vyzerať ako veľký efekt. Pred testom si stanovte trvanie, pravidlá vyhodnotenia a hranicu prijateľného rizika.
Improving Precision in Cluster-Level Pricing Experiments with Temporal Switchbacks — Nicolás Ferrari-Ortiz, Sebastián Orellana-Montini, Timur Abbiasov, Rutger Lit.
DOI: 10.1145/3799682.3839902