Jak wykonać chi-kwadrat dobroci testu dopasowania za pomocą bibliotek naukowych w Pythonie?

Question

Załóżmy mam pewne dane uzyskane empirycznie I:

from scipy import stats 
size = 10000 
x = 10 * stats.expon.rvs(size=size) + 0.2 * np.random.uniform(size=size) 

Jest wykładniczo rozproszonych (z niektórych hałas) i chcę, aby to sprawdzić przy użyciu chi-kwadrat dobroci dopasowania (GOF) testu. Jaki jest najprostszy sposób robienia tego przy użyciu standardowych bibliotek naukowych w Pythonie (np. Scipy lub statsmodels) z najmniejszą ilością ręcznych kroków i założeń?

mogę dopasować model z:

param = stats.expon.fit(x) 
plt.hist(x, normed=True, color='white', hatch='/') 
plt.plot(grid, distr.pdf(np.linspace(0, 100, 10000), *param)) 

Jest bardzo elegancki obliczyć Kolmogorov-Smirnov test.

>>> stats.kstest(x, lambda x : stats.expon.cdf(x, *param)) 
(0.0061000000000000004, 0.85077099515985011) 

Jednak nie mogę znaleźć dobrego sposobu na obliczenie testu chi-kwadrat.

Istnieje chi-squared GoF function in statsmodel, ale zakłada on dyskretną dystrybucję (a rozkład wykładniczy jest ciągły).

Tylko official scipy.stats tutorial obejmuje tylko przypadek dla niestandardowej dystrybucji i prawdopodobieństwa są budowane przez manipulowanie wieloma wyrażeniami (npoints, npointsh, nbound, normbound), więc nie jest dla mnie jasne, jak to zrobić dla innych dystrybucji. Model chisquare examples zakłada, że ​​oczekiwane wartości i DoF są już uzyskane.

Ponadto, nie szukam sposobu, aby "ręcznie" wykonać test, tak jak było already discussed here, ale chciałbym wiedzieć, jak zastosować jedną z dostępnych funkcji bibliotecznych.

Answer 1

Przybliżony rozwiązanie dla jednakowych pojemników prawdopodobieństwa:

• estymacji parametrów rozkładu
• Korzystanie CDF odwrotny, PPF jeśli jest to scipy.stats.distribution, aby uzyskać binedges dla zwykłego prawdopodobieństwa siatka, np distribution.ppf(np.linspace(0, 1, n_bins + 1), *args)
• Następnie użycie np.histogram policzyć liczbę obserwacji w każdym pojemniku

następnie użyć chisquare testu na częstotliwościach.

Alternatywą byłoby znalezienie krawędzi bin z percentylów posortowanych danych i użycie cdf do znalezienia rzeczywistych prawdopodobieństw.

Jest to tylko przybliżona, ponieważ teoria dla testu kwadratowego zakłada, że ​​parametry są oszacowane na podstawie prawdopodobieństwa maksymalnego prawdopodobieństwa dla danych kategoryzowanych. I nie jestem pewien, czy wybór zestawów na podstawie danych wpływa na rozkład asymptotyczny.

Nie zajrzałem do tego od dłuższego czasu. Jeśli przybliżone rozwiązanie nie jest wystarczająco dobre, polecam zadać pytanie na temat stats.stackexchange.

Answer 2

Dlaczego musisz "zweryfikować", czy jest to wykładniczy wykład? Czy na pewno potrzebujesz testu statystycznego? Mogę w zasadzie zagwarantować, że nie jest to ostatecznie wykładniczy test, który byłby znaczący, gdybyś miał wystarczającą ilość danych, sprawiając, że logika używania testu była raczej wymuszona.Może ci pomóc przeczytać ten wątek: Is normality testing 'essentially useless'? lub moja odpowiedź tutaj: Testing for heteroscedasticity with many observations.

Zazwyczaj lepiej jest użyć wykresu qq i/lub pp-plot (w zależności od tego, czy martwisz się o dopasowanie w ogonach czy środku rozkładu, zobacz moją odpowiedź tutaj: PP-plots vs. QQ-plots). Informacje na temat tworzenia qq-działek w Python SciPy można znaleźć w tym wątku SO: Quantile-Quantile plot using SciPy