wnioski - jak przesyłać strumieniowo - częściowy plik

Question

Moim celem jest wykonanie części pliku za pomocą żądań i przesłanie pliku (tj. Nie załadowanie go do pamięci, a następnie wykonanie PUT).

This page wyjaśnia, w jaki sposób to zrobić dla całego pliku:

Wnioski obsługuje strumieniowe przesyłanie, które pozwalają na wysyłanie dużych plików lub strumieni bez czytania ich w pamięci. Aby strumieniowo przesyłać i , wystarczy dostarczyć przedmiot plikopodobny dla ciała:

with open('massive-body', 'rb') as f: 
    requests.post('http://some.url/streamed', data=f) 

Jednak w moim przypadku chcę wysłać tylko jeden fragment pliku. Czy istnieje sposób, aby to osiągnąć?

W koncepcji, coś jak:

with open('massive-body', 'rb') as f: 
    requests.post('http://some.url/streamed', data=f.read(chunksize)) 

Answer 1

Ja tylko rzucanie 2 inne odpowiedzi razem więc pokrywa się ze mną, jeśli to nie działa po wyjęciu z pudełka - nie mam możliwości przetestowania tego:

Lazy Method for Reading Big File in Python?

http://docs.python-requests.org/en/latest/user/advanced/#chunk-encoded-requests

def read_in_chunks(file_object, blocksize=1024, chunks=-1): 
    """Lazy function (generator) to read a file piece by piece. 
    Default chunk size: 1k.""" 
    while chunks: 
     data = file_object.read(blocksize) 
     if not data: 
      break 
     yield data 
     chunks -= 1 

requests.post('http://some.url/chunked', data=read_in_chunks(f)) 

Answer 2

Opierając się odpowiedzi Grega na moje pytania myślę dodaje działa najlepiej:

Najpierw trzeba coś owinąć otwarty plik tak, że ogranicza ile danych można odczytać:

class FileLimiter(object): 
    def __init__(self, file_obj, read_limit): 
     self.read_limit = read_limit 
     self.amount_seen = 0 
     self.file_obj = file_obj 

     # So that requests doesn't try to chunk the upload but will instead stream it: 
     self.len = read_limit 

    def read(self, amount=-1): 
     if self.amount_seen >= self.read_limit: 
      return b'' 
     remaining_amount = self.read_limit - self.amount_seen 
     data = self.file_obj.read(min(amount, remaining_amount)) 
     self.amount_seen += len(data) 
     return data 

ten powinien z grubsza pracować jako dobry obiekt opakowania. Wtedy można go używać tak:

with open('my_large_file', 'rb') as file_obj: 
    file_obj.seek(my_offset) 
    upload = FileLimiter(file_obj, my_chunk_limit) 
    r = requests.post(url, data=upload, headers={'Content-Type': 'application/octet-stream'}) 

Nagłówki są oczywiście opcjonalne, ale podczas przesyłania strumieniowego danych do serwera, to dobry pomysł, aby być taktowny użytkownika i poinformować serwer jaki rodzaj treści jest to, że właśnie wysyłasz.