wielkość próbki A/B testu Fishera znaczenia

Question

Biorąc pod uwagę wyniki dla prostego testu A/B ...

 A B 
clicked 8 60 
ignored 192 1940 

(czyli stopa rozmowa o 4% i B 3%)

... test Fishera w R słusznie mówi, że nie ma istotnej różnicy

> fisher.test(data.frame(A=c(8,192), B=c(60,1940))) 
... 
p-value = 0.3933 
... 

Ale co funkcja jest dostępna w R mi powiedzieć, ile trzeba zwiększyć swoją liczebność próby, aby dostać się do wartości p powiedzmy 0.05?

Mogę tylko zwiększyć wartości A (proporcjonalnie), dopóki nie dojdę do tego, ale musi być lepszy sposób? Być może pwr.2p2n.test [1] jest w jakiś sposób użyteczny?

[1] http://rss.acs.unt.edu/Rdoc/library/pwr/html/pwr.2p2n.test.html

Answer 1

power.prop.test() powinien zrobić to za Ciebie. Aby matematyka zadziałała, przekonwertowałem Twoje dane "zignorowane" na wyświetlenia, podsumowując kolumny.

> power.prop.test(p1=8/200, p2=60/2000, power=0.8, sig.level=0.05) 

    Two-sample comparison of proportions power calculation 

       n = 5300.739 
      p1 = 0.04 
      p2 = 0.03 
     sig.level = 0.05 
      power = 0.8 
    alternative = two.sided 

NOTE: n is number in *each* group 

To daje 5301, który jest dla każdej grupy, tak więc wielkość próbki musi być 10600. Odjęcie z 2200, które już uruchomić, trzeba 8400 „testy”, aby przejść.

W tym przypadku:

• sig.level jest taka sama, jak wartość p.
• power to prawdopodobieństwo znalezienia znaczących wyników w próbce. Jest to nieco arbitralne, 80% jest powszechnym wyborem. Pamiętaj, że wybór 80% oznacza, że ​​w 20% przypadków nie znajdziesz znaczenia, kiedy powinieneś. Zwiększenie mocy oznacza, że ​​potrzebujesz większego rozmiaru próbki, aby osiągnąć pożądany poziom istotności.

Jeśli chcesz zdecydować, jak długo potrwa osiągnięcie ważności, podziel 8400 przez liczbę wyświetleń dziennie. To może pomóc w ustaleniu, czy warto kontynuować test.

Można również użyć tej funkcji do określenia wymaganego rozmiaru próbki przed rozpoczęciem badania. Jest ładny napis opisujący to na 37 Signals blog.

Jest to natywna funkcja R, więc nie trzeba dodawać ani ładować żadnych pakietów. Poza tym nie mogę powiedzieć, jak to jest podobne do pwr.p2pn.test().