Duża kompresja plików z pytonem

Question

Chcę skompresować duże pliki tekstowe za pomocą Pythona (mówię o plikach> 20 GB). nie jestem jak każdy ekspert więc starałem się zebrać informacje i znalazłem następujące wydaje się działać:

import bz2 

with open('bigInputfile.txt', 'rb') as input: 
    with bz2.BZ2File('bigInputfile.txt.bz2', 'wb', compresslevel = 9) as output: 
     while True: 
      block = input.read(900000) 
       if not block: 
        break 
       output.write(block) 

input.close() 
output.close() 

Zastanawiam się, czy ta składnia jest poprawna i czy istnieje sposób, aby zoptymalizować go? Mam wrażenie, że czegoś tutaj brakuje.

Wielkie dzięki.

Answer 1

Twój scenariusz wydaje się poprawne, ale może być skrócona:

from shutil import copyfileobj 

with open('bigInputfile.txt', 'rb') as input: 
    with bz2.BZ2File('bigInputfile.txt.bz2', 'wb', compresslevel=9) as output: 
     copyfileobj(input, output) 

Answer 2

Dlaczego wywołujesz metody .close()? Nie są potrzebne, gdy używasz instrukcji with:.