Przeniesienie 1 miliona plików graficznych do Amazon S3

Question

Prowadzę witrynę do udostępniania obrazów, która ma ponad 1 milion obrazów (~ 150 GB). Obecnie przechowuję je na dysku twardym w moim dedykowanym serwerze, ale szybko brakuje mi miejsca, więc chciałbym przenieść je do Amazon S3.

Próbowałem wykonać RSYNC i zajęło RSYNC ponad jeden dzień tylko do skanowania i tworzenia listy plików graficznych. Po kolejnym dniu transferu zostało ukończone tylko 7% i spowolniło mój serwer do indeksowania, więc musiałem anulować.

Czy jest lepszy sposób to zrobić, na przykład GZIP je na inny lokalny dysk twardy, a następnie przenieść/rozpakować ten pojedynczy plik?

Zastanawiam się również, czy sensowne jest przechowywanie tych plików w wielu podkatalogach, czy też dobrze jest mieć wszystkie pliki z milionami w tym samym katalogu?

Answer 1

1. zważywszy, że nie istnieją pliki (jeszcze) na S3, wysyłając je jako archiwum powinno być szybsze niż przy użyciu protokołu synchronizacji.

2. Jednak kompresowanie archiwum nie pomoże (jeśli w ogóle) w plikach graficznych, zakładając, że pliki obrazów są już zapisane w skompresowanym formacie, takim jak JPEG.

3. Przesyłanie ~ 150 Gb danych zużywa dużo przepustowości sieci przez długi czas. Będzie to takie samo, jeśli spróbujesz użyć HTTP lub FTP zamiast RSYNC, aby wykonać transfer. Transfer w trybie offline byłby lepszy, jeśli to możliwe; na przykład wysyłanie dysku twardego lub zestawu taśm lub dysków DVD.

4. Umieszczenie miliona plików w jednym płaskim katalogu jest złym pomysłem z perspektywy wydajności. podczas gdy niektóre systemy plików radzą sobie z tym całkiem dobrze z czasami wyszukiwania nazw plików O(logN), inne nie z wyszukiwaniem nazwy pliku O(N). Pomnóż to przez N, aby uzyskać dostęp do wszystkich plików w katalogu. Dodatkowym problemem jest to, że narzędzia, które potrzebują dostępu do plików w kolejności nazw plików, mogą znacznie zwolnić, jeśli muszą sortować miliony nazw plików. (Może to częściowo wyjaśniać, dlaczego rsync zajęło 1 dzień indeksowania.)

5. Umieszczenie wszystkich plików graficznych w jednym katalogu jest złym pomysłem z perspektywy zarządzania; na przykład do wykonywania kopii zapasowych, archiwizowania, przenoszenia elementów, rozszerzania do wielu dysków lub systemów plików itp.

Answer 2

Jedną z opcji, którą można użyć zamiast przesyłać pliki przez sieć, jest umieszczenie ich na dysku twardym i wysłanie do usługi Amazon import/export. Nie trzeba się martwić o nasycania połączenia swojego serwera sieciowego itd

Answer 3

Jedną z opcji może być przeprowadzenie migracji w leniwy sposób.

• Wszystkie nowe zdjęcia trafiają do Amazon S3.
• Wszelkie prośby o zdjęcia, które nie są jeszcze dostępne w serwisie Amazon, powodują migrację tego obrazu do Amazon S3. (w kolejce)

To powinno dość szybko uzyskać wszystkie najnowsze lub najczęściej pobierane obrazy przeniesione do Amazon, a tym samym zmniejszyć obciążenie serwera. Następnie możesz dodać kolejne zadanie, które migruje pozostałe powoli, gdy serwer jest najmniej zajęty.