Nieskończona pętla podczas przesyłania strumieniowego pliku .gz z S3 przy użyciu boto

Question

Próbuję przesyłać strumieniowo plik .gz z S3 przy użyciu boto i iterować po liniach rozpakowanego pliku tekstowego. Tajemniczo pętla nigdy się nie kończy; gdy cały plik zostanie odczytany, iteracja zostanie uruchomiona ponownie na początku pliku.

Powiedzmy utworzyć i przesłać plik wejściowy jak następuje:

> echo '{"key": "value"}' > foo.json 
> gzip -9 foo.json 
> aws s3 cp foo.json.gz s3://my-bucket/my-location/ 

i uruchom następujące Pythona skrypt:

import boto 
import gzip 

connection = boto.connect_s3() 
bucket = connection.get_bucket('my-bucket') 
key = bucket.get_key('my-location/foo.json.gz') 
gz_file = gzip.GzipFile(fileobj=key, mode='rb') 
for line in gz_file: 
    print(line) 

wynik jest:

b'{"key": "value"}\n' 
b'{"key": "value"}\n' 
b'{"key": "value"}\n' 
...forever... 

Dlaczego to się dzieje? Myślę, że musi być coś bardzo podstawowego, czego mi brakuje.

Answer 1

Ah, boto. Problem polega na tym, że metoda read ponownie ładuje klucz, jeśli wywołasz go po pełnym odczytaniu klucza (porównaj odczyt i następne metody, aby zobaczyć różnicę).

To nie jest najczystszym sposobem, aby to zrobić, ale to rozwiązuje problem:

import boto 
import gzip 

class ReadOnce(object): 
    def __init__(self, k): 
     self.key = k 
     self.has_read_once = False 

    def read(self, size=0): 
     if self.has_read_once: 
      return b'' 
     data = self.key.read(size) 
     if not data: 
      self.has_read_once = True 
     return data 

connection = boto.connect_s3() 
bucket = connection.get_bucket('my-bucket') 
key = ReadOnce(bucket.get_key('my-location/foo.json.gz')) 
gz_file = gzip.GzipFile(fileobj=key, mode='rb') 
for line in gz_file: 
    print(line) 

Answer 2

Dzięki zweiterlinde dla wspaniałej intuicji i excellent answer provided.

Szukałem rozwiązania czytać skompresowany obiekt S3 bezpośrednio do Pandy DataFrame i używając jego opakowanie, może być wyrażona w dwóch liniach:

with gzip.GzipFile(fileobj=ReadOnce(bucket.get_key('my/obj.tsv.gz')), mode='rb') as f: 
    df = pd.read_csv(f, sep='\t')