Jak mogę uporządkować milion plików teraz, gdy przenoszę się do Amazon S3?

Question

Cóż, uruchamiam się z mojego hosta udostępnionego i przełączam się na połączenie VPS z Linode i Amazon S3 na kilka milionów jpegów.

Moim największym zmartwieniem jest utrzymywanie pewnego rodzaju zdrowego rozsądku przy tych wszystkich obrazach. Czy jest jakaś nadzieja na to? Rozumiem, że dozwolone są tylko 100 "wiadra", a "wiadra" to jedyny rodzaj struktury w S3.

Czy umieszczenie kilku milionów plików w wiadrze to coś, co odradzasz?

Answer 1

Można zauważyć w Bucket Restrictions and Limitations, jest powiedziane:

There is no limit to the number of objects that can be stored in a bucket 

Moje doświadczenie jest to, że bardzo duża liczba obiektów w jednym wiadrze nie wpłynie na wydajność uzyskanie pojedynczego obiektu przez jego klucz (czyli jest, wydaje się być o stałej złożoności).

posiadające bardzo dużą liczbę obiektu także does not affect the speed of listing a given number of objects:

List performance is not substantially affected by the total number of keys in your bucket 

Jednak muszę cię ostrzec, że większość narzędzi zarządzania S3 Użyłem (jak S3Fox) będzie dusić i umierać straszną powolny śmierci, gdy próba dostępu do wiadra z bardzo dużą liczbą obiektów. Jednym z narzędzi, które zdaje się radzić sobie z bardzo dużą liczbą obiektów jest S3 Browser (mają darmową wersję i wersję Pro, nie jestem z nimi w żaden sposób powiązany).

Użycie "folderów" lub prefiksów nie zmienia żadnego z tych punktów (pobranie i wystawienie określonej liczby obiektów jest wciąż stałe, większość narzędzi wciąż się przewraca i zawiesza).