Kompresja dużego ciągu w rubinie

Question

Mam aplikację internetową (ruby na szynach), która wysyła trochę YAML jako wartość ukrytego pola wejściowego.

Teraz chcę zmniejszyć rozmiar tekstu przesyłanego do przeglądarki. Jaka jest najskuteczniejsza forma bezstratnej kompresji, która byłaby przesyłana przez minimalne dane? Mogę ponieść dodatkowy koszt kompresji i dekompresji po stronie serwera.

Answer 1

Można użyć realizację zlib w rdzeniu ruby ​​w/danych de-Flate:

require "zlib" 
data = "some long yaml string" * 100 
compressed_data = Zlib::Deflate.deflate(data) 
#=> "x\x9C+\xCE\xCFMU\xC8\xC9\xCFKW\xA8L\xCC\xCDQ(.)\xCA\xCCK/\x1E\x15\x1C\x15\x1C\x15\x1C\x15\x1C\x15\x1C\x15\x1C\x15\x1C\x15D\x15\x04\x00\xB3G%\xA6" 

Należy base64 zakodować dane skompresowane, aby druku:

require 'base64' 
encoded_data = Base64.encode64 compressed_data 
#=> "eJwrzs9NVcjJz0tXqEzMzVEoLinKzEsvHhUcFRwVHBUcFRwVHBUcFUQVBACz\nRyWm\n" 

Później , po stronie klienta możesz użyć pako (port zlib do javascript), aby odzyskać dane. This answer prawdopodobnie pomaga w implementacji części JS.

Aby dać wyobrażenie o tym, jak skuteczne jest to, tutaj są rozmiary przykładowych ciągów:

data.size   # 2100 
compressed_data.size # 48 
encoded_data.size # 66 

samo idzie odwrotnie podczas kompresji na kliencie i pompowania na serwerze.

Zlib::Inflate.inflate(Base64.decode64(encoded_data)) 
#=> "some long yaml stringsome long yaml str ... (shortened, as the string is long :) 

Zastrzeżenie:

• Ruby zlib realizacja powinny być zgodny z implementacją Pako. Ale nie próbowałem tego.
• Liczby dotyczące rozmiarów napisów są trochę oszukane. Zlib jest tutaj naprawdę skuteczny, ponieważ ciąg powtarza się dużo. Prawdziwe dane z życia zazwyczaj nie powtarzają się tak bardzo.