Narzędzie Deflate z wiersza poleceń

Question

Poszukuję otoki linii poleceń dla algorytmu DEFLATE.

Mam plik (gob blob), który jest skompresowany przy użyciu DEFLATE, i chcę go zdekompresować. Wydaje się, że polecenie gzip nie ma opcji bezpośredniego użycia algorytmu DEFLATE, zamiast formatu gzip.

Idealnie szukam standardowego narzędzia Unix/Linux, które może to zrobić.

edit: To wyjście uzyskać podczas próby użycia gzip dla mojego problemu:

$ cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip 

gzip: stdin: not in gzip format 

Answer 1

AKTUALIZACJA: Mark Adler zauważył, że glister nie są surowymi strumieniami DEFLATE, ale strumieniami zlib. Te mogą być rozpakowane przez narzędzie pigz, który pochodzi fabrycznie zapakowane w kilku dystrybucjach Linux:

$ cat foo.txt 
file foo.txt! 

$ git ls-files -s foo.txt 
100644 7a79fc625cac65001fb127f468847ab93b5f8b19 0 foo.txt 

$ pigz -d < .git/objects/7a/79fc625cac65001fb127f468847ab93b5f8b19 
blob 14file foo.txt! 

mój oryginalny odpowiedź, utrzymywane z przyczyn historycznych:

Jeśli rozumiem aluzję w Wikipedia article wymieniony autor: Marc van Kempen, możesz bezpośrednio użyć puff.c z zlib.

Jest to mały przykład:

#include <assert.h> 
#include <string.h> 
#include "puff.h" 

int main(int argc, char **argv) { 
    unsigned char dest[ 5 ]; 
    unsigned long destlen = 4; 
    const unsigned char *source = "\x4B\x2C\x4E\x49\x03\x00"; 
    unsigned long sourcelen = 6;  
    assert(puff(dest, &destlen, source, &sourcelen) == 0); 
    dest[ 4 ] = '\0'; 
    assert(strcmp(dest, "asdf") == 0); 
} 

Answer 2

Zobacz http://en.wikipedia.org/wiki/DEFLATE#Encoder_implementations

Wymienia szereg wdrożeń oprogramowania, w tym gzip, tak że powinno działać. Czy próbowałeś po prostu uruchomić gzip na tym pliku? Czy nie rozpoznaje automatycznie formatu?

Skąd wiadomo, że jest skompresowany przy użyciu DEFLATE? Jakie narzędzie zostało użyte do skompresowania pliku?

Answer 3

Dlaczego nie można po prostu użyć narzędzi git, aby uzyskać dostęp do danych? To powinno być w stanie odczytać dowolny obiekt git:

git show --pretty=raw <object SHA-1> 

Answer 4

Coś wydrukuje zawartość surowego poniżej, w tym "$ type $ długość \ 0" Header:

perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)' \ 
    < .git/objects/27/de0a1dd5a89a94990618632967a1c86a82d577 

Answer 5

Oto przykład złamanie otwarte commit obiekt w Pythonie:

$ git show 
commit 0972d7651ff85bedf464fba868c2ef434543916a 
# all the junk in my commit... 
$ python 
>>> import zlib 
>>> file = open(".git/objects/09/72d7651ff85bedf464fba868c2ef434543916a") 
>>> data = file.read() 
>>> print data 
# binary garbage 
>>> unzipped_data = zlib.decompress(data) 
>>> print unzipped_data 
# all the junk in my commit! 

Co widać tam jest prawie identyczny z wyjściem „git kot akt -p [hash]”, oprócz tego, że komenda nie drukuje nagłówka (” commit ", po którym następuje wielkość treść i bajt zerowy).

Answer 6

pythonic jedna wkładka:

$> python -c "import zlib,sys;print \ 
      repr(zlib.decompress(sys.stdin.read()))" < $IN 

Answer 7

Tutaj Ruby jedna wkładka (CD .git/pierwszy i identyfikacji ścieżki do każdego obiektu)

ruby -rzlib -e 'print Zlib::Inflate.new.inflate(STDIN.read)' < ./74/c757240ec596063af8cd273ebd9f67073e1208 

Answer 8

obiektów git są kompresowane zlib zamiast gzip, więc albo używając zlib, aby ją zdekompresować, albo polecenie git, tj. git cat-file -p <SHA1>, aby wydrukować zawartość.

Answer 9

Wygląda Mark Adler ma nam w głowie i napisał przykład, jak to zrobić z: http://www.zlib.net/zpipe.c

To kompiluje z niczym więcej niż gcc -lz i nagłówków zlib zainstalowane. Skopiowałem wynikowy plik binarny do mojego /usr/local/bin/zpipe podczas pracy z plikami git.

Answer 10

Dostałem zmęczony, nie mając dobre rozwiązanie dla tego, więc umieścić coś na KMP:

https://github.com/jezell/zlibber

Teraz można po prostu rurę do nadmuchać/polecenia opróżnić.

Answer 11

Można używać zlib-Flate, tak:

cat .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 \ 
    | zlib-flate -uncompress; echo 

Jest tam domyślnie na moim komputerze, ale to część qpdf - tools for and transforming and inspecting PDF files jeśli trzeba go zainstalować.

Na końcu polecenia pojawiło się echo, ponieważ łatwiej jest odczytać wynik w ten sposób.

Answer 12

Można to zrobić za pomocą narzędzia wiersza poleceń OpenSSL:

openssl zlib -d < $IN > $OUT 

Niestety, przynajmniej na Ubuntu The zlib komenda jest wyłączona w konfiguracji domyślnej kompilacji (--no-zlib--no-zlib-dynamic), więc trzeba by skompilować openssl ze źródła, aby go użyć. Ale jest domyślnie włączony na Arch, na przykład.

Edytuj: Wygląda na to, że polecenie zlib nie jest już obsługiwane w Arch. Ta odpowiedź nie może być przydatny już :(

Answer 13

Znalazłem to pytanie, patrząc na obejście z błędem z narzędziem -text w nowej wersji klienta hadoop dfs Właśnie zainstalowałem. Narzędzie -text działa jak cat, z wyjątkiem jeśli odczytany plik jest skompresowany, przezroczyście rozpakowuje się i wypisuje zwykły tekst (stąd nazwa):

Odpowiedzi już zamieszczone były zdecydowanie pomocne, ale niektóre z nich mają jeden problem, gdy mamy do czynienia z wielkościami Hadoop dane - wczytują wszystko do pamięci przed dekompresją.

Tak, oto moje wariacje na Perl i Python odpowiedzi powyżej, które nie mają tego ograniczenia:

Python:

hadoop fs -cat /path/to/example.deflate | 
    python -c 'import zlib,sys;map(lambda b:sys.stdout.write(zlib.decompress(b)),iter(lambda:sys.stdin.read(4096),""))' 

Perl:

hadoop fs -cat /path/to/example.deflate | 
    perl -MCompress::Zlib -e 'print uncompress($buf) while sysread(STDIN,$buf,4096)' 

Uwaga Użycie sub-polecenia -cat, zamiast -text. Jest tak, że moje obejście się nie psuje, po naprawieniu błędu. Przepraszamy za czytelność wersji python.

Answer 14

Spróbuj następującą komendę: potrzebne są

printf "\x1f\x8b\x08\x00\x00\x00\x00\x00" | cat - .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 | gunzip 

żadnych narzędzi zewnętrznych.

^{Źródło: How to uncompress zlib data in UNIX? na unix SE}

Answer 15

// save this as deflate.go 

package main 

import (
    "compress/zlib" 
    "io" 
    "os" 
    "flag" 
) 

var infile = flag.String("f", "", "infile") 

func main() { 
    flag.Parse() 
    file, _ := os.Open(*infile) 

    r, err := zlib.NewReader(file) 
    if err != nil { 
     panic(err) 
    } 
    io.Copy(os.Stdout, r) 

    r.Close() 
} 

---

$ go build deflate.go 
$ ./deflate -f .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 

Answer 16

pigz może to zrobić:

apt-get install pigz 
unpigz -c .git/objects/c0/fb67ab3fda7909000da003f4b2ce50a53f43e7 

Answer 17

const zlib = require("zlib"); 
const adler32 = require("adler32"); 
const data = "hello world~!"; 
const chksum = adler32.sum(new Buffer(data)).toString(16); 
console.log("789c",zlib.deflateRawSync(data).toString("hex"),chksum); 
// or 
console.log(zlib.deflateSync(data).toString("hex")); 

Answer 18

obiekty git są zlib strumienie (nie surowe deflate) . pigz rozpakuje te z opcją -dz.