Na PackedArray, szukając porady, jak z nich korzystać

Question

Nie użyłem wcześniej PackedArray, ale zacząłem patrzeć na ich używanie, czytając dzisiaj pewną dyskusję na ich temat.

To, co mam, to dużo dużych rozmiarów matryc 1D i 2D wszystkich reali, i bez symbolicznych (jest to skończona różnica PDE), więc pomyślałem, że powinienem skorzystać z użycia PackedArray.

Mam funkcję inicjalizacji, w której przydzielam wszystkie potrzebne dane/siatki. Więc poszedłem i użyłem na nich ToPackedArray. Wydaje się nieco szybszy, ale muszę wykonać więcej testów wydajności, aby lepiej porównać prędkość przed i po, a także porównać wykorzystanie pamięci RAM.

Ale gdy patrzyłem na to, zauważyłem, że niektóre operacje w M automatycznie zwracają listy w PackedArray już, a niektóre nie.

Na przykład ten nie zwrot pakowane tablica

a = Table[RandomReal[], {5}, {5}]; 
Developer`PackedArrayQ[a] 

Ale to robi

a = RandomReal[1, {5, 5}]; 
Developer`PackedArrayQ[a] 

i to robi

a = Table[0, {5}, {5}]; 
b = ListConvolve[ {{0, 1, 0}, {1, 4, 1}, {0, 1, 1}}, a, 1]; 
Developer`PackedArrayQ[b] 

a także matryca mnożenie powoduje zwrotny w zapakowanych tablicy

a = Table[0, {5}, {5}]; 
b = a.a; 
Developer`PackedArrayQ[b] 

But elementu mnożenie nie

b = a*a; 
Developer`PackedArrayQ[b] 

Moje pytanie: Czy istnieje lista gdzieś której dokumenty powrócić polecenia M PackedArray kontra nie? (zakładając, że dane spełniają wymagania, takie jak rzeczywisty, niezmieszany, bez symbolicznego itd.).

Co więcej, mniej istotne pytanie, czy lepiej będzie najpierw sprawdzić, czy stworzona lista/macierz jest już zapakowana przed dzwonieniem pod numer ToPackedArray? Myślę, że wywołanie ToPackedArray na już zapakowanej liście nie będzie kosztować niczego, ponieważ połączenie natychmiast wróci.

Dzięki,

aktualizacji (1)

Chciałem tylko wspomnieć, że właśnie odkryli, że symbole PackedArray niedozwolone w CDF demo jak mam błąd podczas przesyłania jednego z nich. Musiałem więc usunąć cały mój kod pakowania. Ponieważ piszę głównie dema, teraz ten temat jest dla mnie akademicki. Ale chciał podziękować wszystkim za czas i dobre odpowiedzi.

Answer 1

Nie ma wyczerpującej listy.Aby zwrócić uwagę na kilka rzeczy:

• podstawowych operacji na macierzach spakowanych będą miały tendencję do pozostają pakowane:

 
    In[66]:= a = RandomReal[1, {5, 5}]; 

    In[67]:= Developer`PackedArrayQ /@ {a, a.a, a*a} 

    Out[67]= {True, True, True} 

• Uwaga powyżej, że moja wersja (8.0.4) nie rozpakuj dla mnożenia elementarnego.

• To czy Table spowoduje wypełnionej tablicy zależy od liczby elementów:

 
    In[71]:= Developer`PackedArrayQ[Table[RandomReal[], {24}, {10}]] 

    Out[71]= False 

    In[72]:= Developer`PackedArrayQ[Table[RandomReal[], {24}, {11}]] 

    Out[72]= True 

    In[73]:= Developer`PackedArrayQ[Table[RandomReal[], {25}, {10}]] 

    Out[73]= True 

• On["Packing"] włączy wiadomości poinformować, kiedy rzeczy rozpakować:

 
    In[77]:= On["Packing"] 

    In[78]:= a = RandomReal[1, 10]; 

    In[79]:= Developer`PackedArrayQ[a] 

    Out[79]= True 

    In[80]:= a[[1]] = 0 (* force unpacking due to type mismatch *) 

     Developer`FromPackedArray::punpack1: Unpacking array with dimensions {10}. >> 

    Out[80]= 0 

• Operacje, które robią inspekcję per-elementu zazwyczaj rozpakować tablicę,

 
    In[81]:= a = RandomReal[1, 10]; 

    In[82]:= Position[a, Max[a]] 

     Developer`FromPackedArray::unpack: Unpacking array in call to Position. >> 

    Out[82]= {{4}} 

• Istnieje kara za nazwanie ToPackedArray na liście już zapakowany jest na tyle mała, że ​​nie będę się martwić o tym zbyt dużo:

 

    In[90]:= a = RandomReal[1, 10^7]; 

    In[91]:= Timing[Do[Identity[a], {10^5}];] 

    Out[91]= {0.028089, Null} 

    In[92]:= Timing[Do[Developer`ToPackedArray[a], {10^5}];] 

    Out[92]= {0.043788, Null} 

• nakładka woli pakowane do rozpakowanych tablic, które mogą pojawić się przy rozpatrywaniu Dynamic i Manipulate:

 
    In[97]:= Developer`PackedArrayQ[{1}] 

    Out[97]= False 

    In[98]:= Dynamic[Developer`PackedArrayQ[{1}]] 

    Out[98]= True 

• Patrząc na wydajność, skupić się na przypadkach, w których duże wykazy są coraz rozpakowane, zamiast małych. Chyba że małe są w dużych pętlach.

Answer 2

To jest tylko dodatek do Brett's answer:

SystemOptions["CompileOptions"] 

daje długości są używane dla których funkcja zwróci zapakowany tablicę. Jeśli więc trzeba było spakować małą listę, jako alternatywę dla używania Developer`ToPackedArray można tymczasowo ustawić mniejszą liczbę dla jednej z opcji kompilacji. na przykład

SetSystemOptions["CompileOptions" -> {"TableCompileLength" -> 20}] 

Należy również zauważyć pewne różnice między funkcjami, które do mnie przynajmniej nie wydaje się intuicyjny więc generalnie trzeba przetestować tego rodzaju rzeczy, ilekroć ich używać zamiast instynktownie wiedząc, co będzie najlepsze:

f = # + 1 &; 
g[x_] := x + 1; 
data = RandomReal[1, 10^6]; 

On["Packing"] 
Timing[Developer`PackedArrayQ[f /@ data]] 
{0.131565, True} 


Timing[Developer`PackedArrayQ[g /@ data]] 
Developer`FromPackedArray::punpack1: Unpacking array with dimensions {1000000}. 
{1.95083, False} 

Answer 3

Kolejny dodatek do odpowiedzi Bretta: Jeśli lista jest spakowaną tablicą, to ToPackedArray jest bardzo szybka, ponieważ sprawdzono dość wcześnie.Również można znaleźć ten cenny:

http://library.wolfram.com/infocenter/Articles/3141/

ogólnie dla Liczby wygląd rzeczy do rozmów z Robem Knapp i/lub Mark Sofroniou.

Kiedy opracowuję kody numeryczne, piszę funkcję, a następnie używam opcji On ["Pakowanie"], aby upewnić się, że wszystko jest zapakowane, co wymaga spakowania.

Odnośnie odpowiedzi Mike'a, próg został wprowadzony, ponieważ w przypadku małych rzeczy jest narzut. Gdzie próg jest zależny od sprzętu. Może warto napisać funkcję ustawiającą ten próg na podstawie pomiarów wykonanych na komputerze.