iPad - Parsowanie niezwykle dużego pliku json - Plik (między 50 a 100 MB)

Question

Próbuję parsować wyjątkowo duży plik json na iPadzie. Rozmiar pliku będzie się wahał od 50 do 100 mb (istnieje plik początkowy i będzie co miesiąc nowy pełny zestaw danych, które będą pobierane, analizowane i zapisywane w coredatach). Firma jako rozwiązanie dla przedsiębiorstw - plik json zawiera poufne dane klienta i musi być zapisany lokalnie na iPadzie, aby działał nawet w trybie offline. Udało się, gdy plik był poniżej 20mb, ale teraz zbiór danych stał się większy i naprawdę muszę go przeanalizować. Otrzymuję ostrzeżenia o pamięci podczas parsowania i po trzecim ostrzeżeniu po prostu się zawiesza. Mam kilka różnych jednostek danych podstawowych i właśnie ustawiam wszystkie wartości pochodzące z pliku json (kiedy aplikacja jest uruchamiana po raz pierwszy) i po wykonaniu wszystkich czynności wykonuję [context save].

Miałem nadzieję, że ktoś może mi doradzić jak radzić sobie z tak ogromnymi plikami. Myślałem o podzieleniu pliku json na kilka mniejszych plików json i może analizowałem je w wielu wątkach, ale nie wiem, czy to właściwe podejście. Chyba jednym wielkim problemem jest to, że cały plik jest przechowywany w pamięci - może jest jakiś sposób na "przesłanie" go do pamięci lub coś w tym stylu?

Używam JSONKit (https://github.com/johnezang/JSONKit) do parsowania pliku, ponieważ przeczytałem, że jest najszybszy (może jest wolniejszy, który jest łatwiejszy w pamięci?).

Z góry dziękuję.

Answer 1

1) Wpisz swoje dane do pliku, a następnie za pomocą NSData za dataWithContentsOfFile: Opcje: Błąd: i określić NSDataReadingMappedAlways i NSDataReadingUncached flagi. Dzięki temu system będzie używał mmap() w celu zmniejszenia śladu pamięciowego, a nie obciążania pamięci podręcznej systemu plików blokami pamięci (co spowalnia, ale znacznie mniej obciąża system iOS).

2) Możesz użyć obiektu YAJL SAX style JSON parser, aby uzyskać obiekty podczas ich dekodowania.

Uwaga: nie zrobiłem 2), ale użyłem technik zawartych w 1).

3) Skończyło się, że potrzebowałem czegoś takiego, i napisał SAX-JSON-Parser-ForStreamingData, które można powiązać z dowolnym asynchronicznym downloaderem (w tym moim własnym).

Answer 2

Biorąc pod uwagę obecne ograniczenia pamięci na urządzeniu mobilnym, to prawdopodobnie niemożliwe do analizowania 100 tekst MB JSON i następnie stworzyć reprezentację obiektu Foundation, która sama zabrać około 10 razy większą ilość pamięci RAM niż wielkość źródła Tekst JSON.

Oznacza to, że twój wynik JSON zajmie około 1 GB pamięci RAM w celu przydzielenia miejsca wymaganego dla obiektów fundamentowych.

Najprawdopodobniej nie ma możliwości utworzenia jednej gigantycznej reprezentacji JSON - bez względu na to, jak się zdobywasz i czytasz i analizujesz dane wejściowe. Musisz podzielić go na wiele mniejszych. Może to wymagać modyfikacji po stronie serwera.

Innym rozwiązaniem jest to, ale dużo bardziej rozbudowany:

pomocą parsera SAX w stylu, który przybiera ogromne JSON jako wejście za pośrednictwem interfejsu API strumieniowego i wyjść kilka mniejszych tekstów JSON (wewnętrzne części).Parser stylu SAX może wykorzystywać bloki API (dispatch lib) do przekazywania wyników - mniejsze JSON asynchronicznie do innego analizatora JSON. Oznacza to, że mniejsze JSON-y są zasilane zwykłym parserem JSON, który generuje reprezentacje JSON, które z kolei są zasilane generatorem modeli CoreData.

Możesz nawet pobrać ogromny JSON i przeanalizować go jednocześnie z parserem stylu SAX, jednocześnie tworząc mniejsze JSON-y i jednocześnie zapisując je w Core Data.

Potrzebny jest parser JSON z interfejsem SAX API, który umożliwia analizowanie fragmentów tekstu wejściowego, szybkie wykonanie i tworzenie reprezentacji obiektów Foundation.

Znam tylko jedną bibliotekę JSON, która ma ten zestaw funkcji, a są nawet podane przykłady, które mogą częściowo pokazać, w jaki sposób można osiągnąć dokładnie to: JPJson na GitHub. Parser jest również bardzo szybki - na ARM jest szybszy niż JSONKit. Zastrzeżenie: jego implementacja jest w języku C++ i wymaga kilku kroków, aby zainstalować ją na komputerze programisty. Ma jednak dobrze udokumentowane API Objective-C.

Chciałbym dodać, że jestem autorem;) Niedługo dostępna jest aktualizacja, która wykorzystuje najnowszy kompilator C++ 11 i funkcje biblioteki C++ 11, co daje jeszcze szybszy kod (o 25% szybciej na ARM niż JSONKit i dwa razy szybciej niż NSJSONSerialization).

Aby podać te same fakty dotyczące prędkości: Analizator składni jest w stanie pobrać (przez Wi-Fi) i przeanalizować 25 MB danych zawierających 1000 JSON (po 25 KB) w 7 sekund w sieci Wifi 802.11gi 4 sekundy w Wifi 802.11n, w tym tworzenie i zwalnianie 1000 reprezentacji na iPadzie 2.