Napięcie pamięci masowej HDF5

Question

Piszę dużą liczbę małych zestawów danych do pliku HDF5, a wynikowy rozmiar pliku wynosi około 10x, czego oczekiwałbym od naiwnej tabeli danych, które wprowadzam. Moje dane są uporządkowane hierarchicznie w następujący sposób:

group 0 
    -> subgroup 0 
     -> dataset (dimensions: 100 x 4, datatype: float) 
     -> dataset (dimensions: 100, datatype: float) 
    -> subgroup 1 
     -> dataset (dimensions: 100 x 4, datatype: float) 
     -> dataset (dimensions: 100, datatype: float) 
    ... 
group 1 
... 

Każda podgrupa powinna zająć 500 * 4 Bytes = 2000 Bytes, ignorując obciążenie. Nie przechowuję żadnych atrybutów obok danych. Jednak podczas testów okazało się, że każda podgrupa zajmuje około 4 kB, czyli około dwa razy więcej niż oczekiwałbym. Rozumiem, że istnieje pewne obciążenie, ale skąd ono pochodzi i jak mogę je zmniejszyć? Czy reprezentuje strukturę grupy?

Więcej informacji: Jeśli zwiększenie rozmiarów dwóch zestawów danych w każdej podgrupie 1000 x 4 do 1000, a każda podgrupa zajmuje około 22250 bajtów, a nie płaskich 20000 bajtów, że oczekiwać. Oznacza to obciążenie 2,2 kB na podgrupę i jest zgodne z wynikami uzyskiwanymi przy mniejszych rozmiarach zbioru danych. Czy istnieje sposób na zmniejszenie tego obciążenia?

Answer 1

Odpowiem na moje własne pytanie. Obciążenie związane z reprezentacją struktury grupy wystarczy, aby nie było sensu przechowywać małych tablic lub mieć wiele grup, z których każda zawiera tylko niewielką ilość danych. Wydaje się, że nie ma żadnego sposobu na zmniejszenie narzutu na grupę, który mierzyłem przy około 2,2 kB.

Rozwiązałem ten problem, łącząc dwa zestawy danych w każdej podgrupie w zestaw danych (100 x 5). Następnie wyeliminowałem podgrupy i połączyłem wszystkie zestawy danych w każdej grupie w zestaw danych 3D. Tak więc, jeśli wcześniej miałem podgrupy N, teraz mam jeden zbiór danych w każdej grupie, o kształcie (N x 100 x 5). W ten sposób oszczędzam narzut N * 2,2 kB, który był wcześniej obecny. Co więcej, ponieważ wbudowana kompresja HDF5 jest bardziej efektywna w przypadku większych macierzy, teraz mam lepszy ogólny współczynnik pakowania 1: 1, podczas gdy wcześniej, narzut pochłaniał połowę objętości pliku, a kompresja była całkowicie nieskuteczna.

Lekcja polega na unikaniu skomplikowanych struktur grupowych w plikach HDF5 i próbie połączenia jak największej ilości danych w każdym zbiorze danych.