pobierz plik bardzo dużego pliku .gz na platformie 64-bitowej

Question

Zgodnie z opisem pliku gz, rozmiar pliku jest zapisywany w ostatnich 4 bajtach pliku .gz.

Stworzyłem 2 pliki z

dd if=/dev/urandom of=500M bs=1024 count=500000 
dd if=/dev/urandom of=5G bs=1024 count=5000000 

I gziped je

gzip 500M 5G 

Sprawdziłem ostatnie 4 bajty robi

tail -c4 500M|od -I  (returns 512000000 as expected) 
tail -c4 5G|od -I  (returns 825032704 as not expected) 

Wydaje się, że uderzenie niewidzialną barierę 32bit, sprawia, że ​​wartość zapisana w ISIZE jest kompletnie bez sensu. Co jest bardziej denerwujące, niż gdyby użyli zamiast tego trochę błędów.

Czy ktoś wie, w jaki sposób uzyskać nieskompresowane pliki .gz z pliku .gz bez ich rozpakowywania?

dzięki

specyfikacja: http://www.gzip.org/zlib/rfc-gzip.html

edit: jeśli ktoś go wypróbować, można użyć/dev/zero zamiast/dev/urandom

Answer 1

Nie ma ani jednego.

Jedynym sposobem uzyskania dokładnego rozmiaru skompresowanego strumienia jest jego rozpakowanie (nawet jeśli wszystko zapisujesz w/dev/null i po prostu policzysz bajty).

Warto zauważyć, że ISIZE jest zdefiniowana jako

ISIZE (wielkość wejściowa)
zawiera rozmiaru pierwotnego (nieskompresowany) danych wejściowych
modulo 2^32.

w gzip RFC więc nie jest rzeczywiście łamanie na barierę 32-bitowym, co widzisz jest oczekiwane zachowanie.

Answer 2

nie próbowałem to z plik o wielkości wspomniałeś, ale często znaleźć nieskompresowanego rozmiar pliku .gz z

zcat file.gz | wc -c 

, gdy nie chcę pozostawić nieskompresowanego pliku, lub zawracać mu głowę, aby ponownie go skompresować.

Oczywiście dane są nieskompresowane, ale są przesyłane do wc.

Warto spróbować, tak czy inaczej.

EDIT: Kiedy próbowałem tworzenia pliku 5G z danymi z/dev/random wyprodukowany plik 5G wielkości 5120000000, chociaż mój menedżer plików zgłoszone to jako 4,8 g

Wtedy sprężone go gzip 5G , wyniki 5G.gz były tego samego rozmiaru (niewiele kompresji danych losowych).

Następnie zcat 5G.gz | wc -c zgłosiła ten sam rozmiar co oryginalny plik: 5120000000 bajtów. Tak więc moja sugestia wydawała się działać dla tego procesu.

Dzięki za czekał

Answer 3

gzip ma -l opcję:

 -l --list 
      For each compressed file, list the following fields: 

       compressed size: size of the compressed file 
       uncompressed size: size of the uncompressed file 
       ratio: compression ratio (0.0% if unknown) 
       uncompressed_name: name of the uncompressed file 

      The uncompressed size is given as -1 for files not in gzip format, such as compressed .Z files. To 
      get the uncompressed size for such a file, you can use: 

       zcat file.Z | wc -c 

      In combination with the --verbose option, the following fields are also displayed: 

       method: compression method 
       crc: the 32-bit CRC of the uncompressed data 
       date & time: time stamp for the uncompressed file 

      The compression methods currently supported are deflate, compress, lzh (SCO compress -H) and pack. 
      The crc is given as ffffffff for a file not in gzip format. 

      With --name, the uncompressed name, date and time are those stored within the compress file if 
      present. 

      With --verbose, the size totals and compression ratio for all files is also displayed, unless some 
      sizes are unknown. With --quiet, the title and totals lines are not displayed.