Potrzebuję Multi-Part DOWNLOADS z Amazon S3 dla ogromnych plików

Question

Wiem, że Amazon S3 dodał wieloczęściowy upload dla ogromnych plików. To wspaniale. Potrzebuję również podobnej funkcjonalności po stronie klienta dla klientów, którzy w jakiś sposób pobierają gigabajt plus plik i mają błędy.

Zdaję sobie sprawę, że przeglądarki mają pewien poziom ponownej próby wznowienia i wznowienia, ale gdy mówimy o wielkich plikach, chciałbym móc wybrać miejsce, w którym je przerwano, bez względu na rodzaj błędu.

Wszelkie pomysły?

Dzięki Brian

Answer 1

S3 obsługuje standard HTTP "zasięg" nagłówek, jeśli chcesz zbudować swoje własne rozwiązanie.

S3 Getting Objects

Answer 2

używam aria2c. W przypadku treści prywatnych można użyć "GetPreSignedUrlRequest" w celu wygenerowania tymczasowych prywatnych adresów URL, które można przekazać do aria2c

Answer 3

Właśnie aktualizując dla obecnej sytuacji, S3 obsługuje rodzimych GET oraz PUT. https://www.youtube.com/watch?v=uXHw0Xae2ww (zsuń do 26:00).

Answer 4

UWAGA: Ruby użytkownik tylko

Spróbuj aws-sdk gem z Ruby i pobierz

object = AWS::S3::Object.new(...) 
object.download_file('path/to/file.rb') 

Ponieważ pobierania dużych plików z multipart domyślnie.

plików większych niż 5MB wczytane są przy użyciu metody wieloczęściowy

http://docs.aws.amazon.com/sdkforruby/api/Aws/S3/Object.html#download_file-instance_method