wydajna ekstrakcja kafelków TIFF C++

Question

Pracuję z dużymi obrazami tiff o wielkości 1 gb, które mają około 20000 x 20000 pikseli. Muszę wyodrębnić kilka płytek (około 300x300 pikseli) z obrazów w losowych pozycjach.

Próbowałem następujących rozwiązań:

• libtiff (jedyna biblioteka niski poziom mogłem znaleźć) oferuje TIFFReadline(), ale oznacza, że ​​czytanie w około 19700 zbędnymi pikseli.

• Zaimplementowałem własny czytnik tiff, który wyodrębnia kafelek z obrazu bez czytania niepotrzebnych pikseli. Spodziewałem się, że będzie to szybsze, ale wykonanie wyszukiwania dla każdej linii płytki powoduje, że jest bardzo powolny. Próbowałem również odczytać do bufora wszystkie wiersze pliku, które zawierają mój kafelek, a następnie wyodrębnić kafelek z bufora, ale wyniki są mniej więcej takie same.

Chciałbym otrzymywać sugestie, które poprawią moje narzędzie do wyciągania płytek!

Wszystko jest mile widziane, może można zaproponować bardziej wydajne biblioteki mogę używać, kilka wskazówek o C/C++ I/O, jakiś strategii wyższego szczebla dla moich potrzeb, itp

Pozdrawiam, Juan

Answer 1

Po prostu zamień plik.

http://www.kernel.org/doc/man-pages/online/pages/man2/mmap.2.html

Answer 2

[major edit 14 stycznia 10]

byłem nieco zdezorientowany przez wzmiankę płytek, gdy TIFF jest nie kafelki.

Używam kafelkowych/piramidowych obrazów TIFF. Utworzyłem tych z VIPS

vips im_vips2tiff source_image output_image.tif:none,tile:256x256,pyramid 

myślę, że można to zrobić:

vips im_vips2tiff source_image output_image.tif:none,tile:256x256,flat 

Możesz poeksperymentować z wielkości płytek. Następnie możesz odczytać za pomocą TIFFReadEncodedTile.

Przechowywanie w wielu rozdzielczościach przy użyciu ostrosłupowych tiffów jest znacznie szybsze, jeśli chcesz powiększyć/pomniejszyć. Możesz również użyć tego, aby mieć gruby obraz, po którym natychmiast następuje szczegółowy obraz.

Po przejściu do (odpowiedniego rozmiaru) kafelkowego magazynu (co przyniesie MASYWNE polepszenie wydajności dla dostępu losowego!), Twoim wąskim gardłem będzie dysk io. Odczyt pliku jest znacznie szybszy, jeśli czytany jest w kolejności. Tutaj rozwiązaniem może być mmapping.

Przydatne linki:

VIPS IIPImage LibTiff.NET stackoverflow VIPS jest obrazem obsługi biblioteki, które mogą zrobić dużo więcej niż tylko do odczytu/zapisu. Ma własny, bardzo wydajny format wewnętrzny. Ma dobrą dokumentację na temat algorytmów. Po pierwsze, dekomponuje przetwarzanie z systemu plików, co pozwala na buforowanie kafli.

IIPImage to serwer internetowy z wieloma zoomami i przeglądarką.Znalazłem dokumentację bardzo dobrym źródłem informacji na temat obrazowania w wielu rozdzielczościach (np. Mapy google).

Inne rozwiązanie na tej stronie, używając mmap, działa tylko w przypadku "małych" plików. Często uderzałem w granice 32-bitowe. Ogólnie przydzielanie fragmentu pamięci o wielkości 1 GB zakończy się niepowodzeniem w przypadku 32-bitowego systemu operacyjnego (z zainstalowaną pamięcią RAM 4 GB), ponieważ nawet pamięć wirtualna jest obsługiwana po jednym lub dwóch uruchomieniach aplikacji. Mimo to jest wystarczająca ilość pamięci do buforowania części lub całego obrazu. Więcej pamięci = większa wydajność.

Answer 3

Zrobiłem coś podobnego do tego, aby obsłużyć arbitralnie duży plik formatu TARGA (TGA). To, co stało się proste dla tego rodzaju plików, polega na tym, że obraz nie jest skompresowany. Możesz obliczyć położenie dowolnego dowolnego piksela w obrazie i znaleźć go za pomocą prostego wyszukiwania. Możesz rozważyć format targa, jeśli masz możliwość określenia kodowania obrazu.

Jeśli nie, istnieje wiele odmian formatów TIFF. Prawdopodobnie chcesz skorzystać z biblioteki, jeśli już cierpią z powodu wspierania wszystkich różnych formatów.

Answer 4

Dziękuję wszystkim za odpowiedzi.

Właściwie zmiana sposobu, w jaki płytki były wymagane, pozwoliła mi wyodrębnić kafelki z plików na dysku twardym, w sposób sekwencyjny, zamiast losowy. To pozwoliło mi załadować część pliku do pamięci RAM i wydobywać z niego kafelki.

Wzrost wydajności był ogromny. W przeciwnym razie, jeśli potrzebujesz losowego dostępu do pliku, mmap to dobra okazja.

Pozdrowienia, Juan

Answer 5

Dostałeś konkretny komunikat o błędzie? W zależności od tego, w jaki sposób korzystałeś z tego wiersza poleceń, mógłbyś nadepnąć na swój własny plik.

Jeśli to nie był problem, spróbuj użyć imagemagick zamiast vips, jeśli jest to opcja.