Jak sprawdzić, czy plik jest skompresowany gzip?

Question

Mam program w języku Python, który pobiera pliki tekstowe jako dane wejściowe. Jednak niektóre z tych plików mogą być skompresowane gzip.

Czy istnieje platforma wieloplatformowa, którą można wykorzystać w języku Python, aby określić, czy plik jest skompresowany przy użyciu gzip, czy nie?

Czy następujący wiarygodny lub zwykły plik tekstowy "przypadkowo" wygląda na wystarczająco gzip, aby uzyskać fałszywe alarmy?

try: 
    gzip.GzipFile(filename, 'r') 
    # compressed 
    # ... 
except: 
    # not compressed 
    # ... 

Answer 1

magic number gzip dla skompresowanych plików jest 1f 8b. Chociaż testowanie tego nie jest w 100% niezawodne, jest bardzo mało prawdopodobne, że "zwykłe pliki tekstowe" zaczynają się od tych dwóch bajtów - w UTF-8 nie jest to nawet legalne.

Zwykle pliki skompresowane gzip mają jednak przyrostek .gz. Nawet sam gzip(1) nie rozpakuje plików bez niego, chyba że do niego zostanie dodany --force. Możesz to wykorzystać, ale nadal musisz poradzić sobie z możliwym IOError (który musisz w każdym razie).

Jednym z problemów z twoim podejściem jest to, że gzip.GzipFile() nie wyrzuci wyjątku, jeśli podasz mu nieskompresowany plik. Tylko później będzie to read(). Oznacza to, że prawdopodobnie będziesz musiał wdrożyć część logiki programu dwa razy. Brzydki.

Answer 2

Zaimportuj moduł . Może automatycznie odgadnąć, jaki plik posiadasz i czy jest skompresowany.

tj

mimetypes.guess_type('blabla.txt.gz') 

powraca:

('text/plain', 'gzip')

Answer 3

nie wydaje się działać dobrze w python3 ...

import mimetypes 
filename = "./datasets/test" 

def file_type(filename): 
    type = mimetypes.guess_type(filename) 
    return type 
print(file_type(filename)) 

zwraca (brak, brak) Ale z polecenia unix "Plik"

: ~> zestawy danych plików/zestawów danych testowych /test: gzip skompresowane dane, była "iostat_collection", z Unix, ostatnia modyfikacja: Nie Mar 29 07:09:34 2015

Answer 4

„Czy jest cross-platform , użyteczne w Pythonie do ustalenia, czy plik jest skompresowany gzip czy nie? "

Przyjęta odpowiedź dostarczyła mi 90% drogi do całkiem niezawodny rozwiązanie (test, jeśli pierwsze dwa bajty są 1f 8b), ale nie pokazał, jak faktycznie to zrobić w Pythonie. Oto jeden z możliwych sposobów:

import binascii 

def is_gz_file(filepath): 
    with open(filepath, 'rb') as test_f: 
     return binascii.hexlify(test_f.read(2)) == b'1f8b'