Czy można wyjaśnić to dziwne zachowanie hipergeometrycznej dystrybucji w scipy?

Question

Używam Pythona 2.6.5 na Mac OS X 10.6.4 (to nie jest wersja natywna, zainstalowałem ją samodzielnie) z Scipy 0.8.0. Jeśli wykonuję następujące czynności:

>>> from scipy.stats import hypergeom 
>>> hypergeom.sf(5,10,2,5) 

Otrzymuję IndexError. Następnie:

>>> hypergeom.sf(2,10,2,2) 
-4.44.... 

Podejrzewam, że wartość ujemna wynika z niewłaściwej precyzji zmiennoprzecinkowej. Następnie ponownie wykonuję pierwszą:

>>> hypergeom.sf(5,10,2,5) 
0.0 

Teraz działa! Czy ktoś może to wyjaśnić? Czy widzisz też to zachowanie?

Answer 1

Problem pojawia się, jeśli pierwsze wywołanie funkcji przeżycia znajduje się w zakresie, który powinien wynosić zero (zobacz mój komentarz do poprzedniej odpowiedzi). Np. W przypadku wywołań hypergeom.sf (x, M, n, N) nie powiedzie się, jeśli pierwszym wywołaniem funkcji hipergeometrycznej do funkcji jest sytuacja, w której x> n, gdzie funkcja przeżycia zawsze będzie wynosić zero.

Można trywialnie to naprawić tymczasowo przez:

def new_hypergeom_sf(k, *args, **kwds): 
    from scipy.stats import hypergeom 
    (M, n, N) = args[0:3] 
    try: 
     return hypergeom.sf(k, *args, **kwds) 
    except Exception as inst: 
     if k >= n and type(inst) == IndexError: 
      return 0 ## or conversely 1 - hypergeom.cdf(k, *args, **kwds) 
     else: 
      raise inst 

Teraz, jeśli nie masz edycji na /usr/share/pyshared/scipy/stats/distributions.py problemu (lub odpowiednik pliku), poprawka prawdopodobnie na linii 3966, gdzie teraz to brzmi:

place(output,cond,self._sf(*goodargs)) 
    if output.ndim == 0: 
     return output[()] 
    return output 

Ale jeśli go zmienić na:

if output.ndim == 0: 
     return output[()] 
    place(output,cond,self._sf(*goodargs)) 
    if output.ndim == 0: 
     return output[()] 
    return output 

Teraz działa bez indeksu IndexError. Zasadniczo, jeśli wynik jest zerowy, ponieważ nie sprawdza, próbuje wywołać miejsce, kończy się niepowodzeniem i nie generuje dystrybucji. (Nie dzieje się tak, jeśli poprzednia dystrybucja została już utworzona, co prawdopodobnie powoduje, że nie została ona przechwycona przez wcześniejsze testy.) Zauważ, że miejsce (zdefiniowane w numpy's function_base.py) zmieni elementy tablicy (chociaż ja nie jestem pewien, czy to zmienia wymiarowość), więc może być najlepiej, aby nadal pozostawić zerową kontrolę po miejscu też. Nie przetestowałem tego w pełni, aby sprawdzić, czy ta zmiana nie powoduje niczego innego (i dotyczy wszystkich dyskretnych rozkładów zmiennych losowych), więc może najlepiej wykonać pierwszą poprawkę.

To łamie; np. stats.hypergeom.sf (1,10,2,5) zwraca wartość zero (zamiast 2/9).

Ta poprawka wydaje się działać znacznie lepiej, w tej samej sekcji:

class rv_discrete(rv_generic): 
... 
    def sf(self, k, *args, **kwds): 
    ... 
     if any(cond): 
      place(output,cond,self._sf(*goodargs)) 
     if output.ndim == 0: 
      return output[()] 
     return output 

Answer 2

nie wiem, języka, jednak funkcja jest określona w następujący sposób: hypergeom.sf (X, M, N, N, loc = 0)

M jest kilka interesujących obiektów, N oznacza całkowita liczba obiektów, a n to częstotliwość "wybierania jednego" (przepraszam, niemiecki statystyk).

Jeśli miał miskę 20 kulki, 7 ci żółtej (interesujący żółty), wówczas n oznacza 20, a M oznacza 7.

Może funkcja zachowuje zdefiniowana dla (nonsens) przypadek, gdy M> N?