Jak programowo uzyskać MD5 pliku Amazon S3 przy użyciu boto

Question

Poleconych postów Amazon S3 & Checksum, How to encode md5 sum into base64 in BASH

muszę pobrać plik tar z S3 wiadra z ograniczonym dostępem. [Głównie uprawnienia dostępu podano jedynie pobrać]

Po ściągnięciu muszę sprawdzić sumę kontrolną MD5 pobranego pliku przeciwko MD5-Check Sum danych występujących w postaci metadanych w S3

I obecnie używać S3 przeglądarka plików, aby ręcznie zanotować "x-amz-meta-md5" nagłówka treści i sprawdzić poprawność tej wartości w stosunku do obliczonego md5 pobranego pliku.

Chciałbym wiedzieć, czy istnieje sposób programistycznego użycia boto do przechwytywania wartości mieszania md5 pliku S3, jak wspomniano jako metadane.

from boto.s3.connection import S3Connection 

conn = S3Connection(access_key, secret_key) 
bucket=conn.get_bucket("test-bucket") 
rs_keys = bucket.get_all_keys() 
for key_val in rs_keys: 
    print key_val, key_val.**HOW_TO_GET_MD5_FROM_METADATA(?)** 

Proszę poprawić, jeśli moje zrozumienie jest błędne. Szukam sposobu na pozyskiwanie danych nagłówka programowo

Answer 1

Kiedy boto pobiera plik korzystając z jednej z metod get_contents_to_*, to oblicza sumę MD5 bajtów to pliki do pobrania i sprawia, że ​​dostępna jako atrybut obiektu Keymd5 . Ponadto S3 wysyła nagłówek ETag w odpowiedzi, która reprezentuje koncepcję serwera na temat sumy kontrolnej MD5. Jest dostępny jako atrybut etag obiektu Key. Tak więc po pobraniu pliku wystarczy porównać wartość tych dwóch atrybutów, aby sprawdzić, czy pasują do siebie.

Jeśli chcesz dowiedzieć się, co S3 uważa, że ​​MD5 jest bez faktycznie pobieranie pliku (jak pokazano w przykładzie) może po prostu to zrobić:

for key_val in rs_keys: 
    print key_val, key_val.etag 

Answer 2

Wydaje dobrze ustalone, że ETag nie jest suma md5, jeśli plik został złożony po uruchomieniu przesyłania wieloczęściowego. Myślę, że w tym przypadku jedynym wyjściem jest pobranie pliku i wykonanie lokalnej sumy kontrolnej. Jeśli wynik jest poprawny, kopia S3 musi być dobra. Jeśli lokalna suma kontrolna jest błędna, kopia s3 może być zła lub pobieranie mogło się nie udać. Jeśli nie masz już oryginalnego pliku lub zapisu jego sumy md5, myślę, że nie masz szczęścia. Byłoby wspaniale, gdyby dostępna była suma md5 zmontowanego pliku, lub gdyby istniał sposób lokalnego obliczania oczekiwanego etag pliku, który ma być przesłany przez wieloczęściowy.