Strategia tworzenia kopii zapasowych dla plików przesłanych przez użytkownika na Amazon S3?

Question

Przechodzimy od przechowywania wszystkich plików przesłanych przez użytkowników na naszych serwerach, do korzystania z usługi Amazon S3. Jest ok. 300 GB plików.

Jaki jest najlepszy sposób przechowywania kopii zapasowych wszystkich plików? Widziałem kilka różnych propozycji:

• Copy wiadra do wiadra w innym miejscu S3
• wersjonowanie
• zapasowa do EBS z EC2

Plusy/minusy? Najlepsze praktyki?

Answer 1

Jaki jest najlepszy sposób, aby zachować kopię zapasową wszystkich plików?

Teoretycznie nie trzeba. S3 nigdy nie stracił ani jednego kawałka przez te wszystkie lata. Twoje dane są już przechowywane w wielu centrach danych.

Jeśli naprawdę martwisz się przypadkowym usunięciem plików, użyj kluczy IAM. Dla każdego użytkownika IAM wyłącz operację usuwania. I/lub włącz wersjonowanie i usuń uprawnienia użytkownika IAM do usuwania rzeczywistych.

Jeśli nadal potrzebujesz kopii zapasowej, EBS lub S3 są dość trywialne do wdrożenia: Po prostu uruchom narzędzie S3 Sync do synchronizacji między zasobnikami lub dyskiem EBS. (Jest ich dużo i pisanie jest banalne.) Zwróć uwagę, że płacisz za niewykorzystane miejsce na dysku EBS, więc prawdopodobnie będzie ono droższe, jeśli będziesz rosnąć. Nie używałbym EBS, chyba że naprawdę korzystał z lokalnego dostępu do plików.

Dodatkową zaletą synchronizacji zasobnika S3 jest szybkie przełączanie aplikacji na inne wiadro.

Można również użyć Glacier do tworzenia kopii zapasowych plików, ale ma to poważne ograniczenia.

Answer 2

IMHO, tworzenie kopii zapasowych do innego wiadra S3 w innym Dostępność Strefie (stąd Bucket) jest najlepszym sposobem, aby przejść:

• Masz już infrastrukturę do manipulowania S3 tak niewiele jest zmiana zrobić
• Zapewni to, że w przypadku poważnej awarii S3, AZ kopii zapasowej nie zostaną naruszone

Inne rozwiązania mają wady tego nie ma:

• Wersjonowanie nie jest katastroficznym zabezpieczeniem przed niepowodzeniem
• Kopia zapasowa EBS wymaga specjalnej implementacji do manipulowania tymi kopiami bezpośrednio na dysku.

Answer 3

nie próbowałem to sam ale Amazon posiada funkcję wersjonowania, które mogłyby rozwiązać swoje obawy zapasowych - patrz: http://aws.amazon.com/about-aws/whats-new/2010/02/08/versioning-feature-for-amazon-s3-now-available/

Answer 4

1. Kopiowanie wiadra do wiadra w innym miejscu S3: To może nie być konieczne, ponieważ S3 już osiągnęła sześć „9” wiarygodne przez backup redundancji.Użytkownicy, którzy chcą uzyskać ogólną wydajność dostępu do danych, mogą tworzyć kopie w różnych centrach danych. Tak więc, chyba że chcesz uniknąć jakiejś nieprawdopodobnej katastrofy, takiej jak "911", możesz zrobić kopię w centrum danych Tokio dla wiader w Nowym Jorku. Jednak w tym samym centrum danych, kopiowanie wiader do różnych wiader daje bardzo małą pomoc, gdy katastrofa dzieje się w tym samym centrum danych.
2. Wersja Pomaga w osiągnięciu wydajności przechowywania dzięki oszczędności redundancji i szybszemu przywracaniu. Zdecydowanie jest to dobry wybór.
3. Tworzenie kopii zapasowej na EBS z EC2 Prawdopodobnie NIGDY nie zrobisz tego, ponieważ EBS jest dużo droższym/szybszym miejscem w AWS w porównaniu z S3. A jego głównym celem jest tworzenie obrazu EC2 dla szybszego rozruchu. EC2 to instancja obliczeniowa, która nie ma nic wspólnego z pamięcią masową lub S3. Jest to całkowicie nieistotne i nie widzę sensu, aby wprowadzić EC2 do kopii zapasowej danych.