Python - wydajna reprezentacja pikseli i związanych z nimi wartości

Question

Używam Pythona do pracy z dużymi tablicami (około 2000 x 2000), gdzie każdy punkt I, J w macierzy reprezentuje pojedynczy piksel.

Same matryce są rzadkie (tj. Znaczna część z nich będzie miała wartości zerowe), ale gdy są one aktualizowane, mają tendencję do operacji przyrostowych, do dużej liczby sąsiednich pikseli w prostokątnym "bloku", zamiast do losowe piksele tu lub tam (właściwość, której obecnie nie używam na moją korzyść ..). Obawia się trochę nowości w arytmetyce macierzy, ale przyjrzałem się wielu możliwym rozwiązaniom, w tym różnym smakom rzadkich macierzy scipy. Do tej pory najbardziej obiecujące były matryce koordynacyjne (COO). Tak na przykład, gdzie chcę, aby zwiększyć kształt jednego bloku, będę musiał zrobić coś wzdłuż linii:

>>> from scipy import sparse 
>>> from numpy import array 
>>> I = array([0,0,0,0]) 
>>> J = array([0,1,2,3]) 
>>> V = array([1,1,1,1]) 
>>> incr_matrix = sparse.coo_matrix((V,(I,J)),shape=(100,100)) 
>>> main_matrix += incr_matrix #where main_matrix was previously defined 

w przyszłości, chciałbym mieć bogatszą reprezentację wartość piksela w anycase (krotki do reprezentowania RGB itd.), coś, co nie jest obsługiwane przez tablicę numpy (po prostu potrzebuję użyć this).

Docelowo będę miał kilka tych matryc, które będę musiał wykonać w prosty sposób, i będę potrzebował kodu, aby był tak wydajny, jak to tylko możliwe - i dystrybuowalny, więc musiałbym być w stanie utrzymywać i wymieniać te obiekty w małej reprezentacji bez znacznych kar. Zastanawiam się, czy to jest właściwa droga, czy powinienem wyglądać, tocząc moje własne struktury za pomocą dicts itp?

Answer 1

Ogólną zasadą jest, uzyskać kod działa, a dopiero potem w razie potrzeby optymalizacji ...

W tym przypadku należy użyć zwykłej tablicy numpy 2000x2000 lub 2000x2000x3 dla RGB. Będzie to znacznie łatwiejsze i szybsze w obsłudze, jest tylko małym wymaganiem pamięci i ma wiele innych zalet, na przykład można użyć standardowych narzędzi do przetwarzania obrazu, itp.

Następnie, w razie potrzeby, "do utrzymania i wymieniaj te obiekty ", możesz po prostu skompresować je za pomocą gzip, pytables, jpeg lub cokolwiek innego, ale nie ma potrzeby ograniczania wymagań dotyczących przechowywania danych opartych na manipulacji.

W ten sposób uzyskasz szybsze przetwarzanie i lepszą kompresję.

Answer 2

Możesz rozważyć zaglądanie do quadtree jako implementacji. Struktura quadtree jest dość wydajna w przechowywaniu rzadkich danych i ma tę dodatkową zaletę, że jeśli pracujesz z strukturami złożonymi z wielu bloków podobnych danych, reprezentacja może być bardzo zwarta. Nie jestem pewien, czy będzie to miało szczególne zastosowanie do tego, co robisz, ponieważ nie wiem, co masz na myśli mówiąc "pracując w blokach", ale na pewno warto sprawdzić jako alternatywną, rzadką implementację macierzy.

Answer 3

Powiedziałbym, że tak, to jest droga. Zdecydowanie nad budowaniem czegoś ze słowników! Przy budowie "wektor", tablicę, a następnie za pomocą uporządkowanego tablicę, czyli zdefiniować własną dtype:

rgbtype = [('r','uint8'),('g','uint8'),('b','uint8')] 

gdy zwiększając swoje bloki, będzie to wyglądać mniej więcej tak:

main_matrix['r'][blk_slice] += incr_matrix['r'] 
main_matrix['g'][blk_slice] += incr_matrix['g'] 
main_matrix['b'][blk_slice] += incr_matrix['b'] 

Update:

Wygląda na to, że nie można wykonywać operacji macierzowych za pomocą coo_matrix, istnieją one po prostu jako wygodny sposób wypełniania rzadkiej macierzy. Konieczne jest przekonwertowanie ich na inny (rzadki) typ macierzy przed wykonaniem aktualizacji. documentation