Pisanie rozproszonej kolejki w dynamoDB firmy Amazon

Question

Szukam przekształcenia dużego katalogu obrazów wysokiej rozdzielczości (kilka milionów) w miniatury za pomocą Pythona. Mam tabelę DynamoDB, która przechowuje położenie każdego obrazu w S3.

Zamiast przetwarzania wszystkich tych obrazów w jednej instancji EC2 (zajęłoby to tygodnie), chciałbym napisać aplikację rozproszoną za pomocą kilku instancji.

Jakich technik można użyć do napisania kolejki, która pozwoliłaby węzłowi "sprawdzić" obraz z bazy danych, zmienić jego rozmiar i zaktualizować bazę danych o nowe wymiary wygenerowanych miniatur?

W szczególności martwię się o atomowość i współbieżność - w jaki sposób mogę uniemożliwić dwóm węzłom jednoczesne sprawdzanie tej samej pracy z DynamoDB?

Answer 1

Jednym z podejść, które można zastosować byłoby użycie Amazon's Simple Queue Service(SQS) w połączeniu z DynamoDB. Możesz więc napisać komunikaty do kolejki, które zawierają coś takiego jak klucz hashowania wpisu obrazu w DynamoDB. Każda instancja okresowo sprawdzałaby kolejkę i wyłączała komunikaty. Gdy instancja pobiera komunikat z kolejki, staje się niewidoczna dla innych instancji przez określony czas. Następnie można wyszukać i przetworzyć obraz i usunąć wiadomość z kolejki. Jeśli z jakiegoś powodu coś pójdzie nie tak z przetwarzaniem obrazu, wiadomość nie zostanie usunięta i stanie się widoczna dla innych instancji do przechwycenia.

Innym, prawdopodobnie bardziej skomplikowanym, podejściem byłoby zastosowanie programu DynamoDB conditional update mechanism do wdrożenia schematu blokowania. Na przykład możesz dodać coś do atrybutu "beingProcessed" do swojego modelu danych, czyli 0 lub 1. Pierwszą rzeczą, jaką może zrobić instancja, jest wykonanie warunkowej aktualizacji tej kolumny, zmieniając wartość na 1 iff. 0. Prawdopodobnie jest tu więcej do zrobienia, jeśli chodzi o poprawny/solidny mechanizm blokowania ...

Answer 2

Dobrym/fajnym podejściem jest użycie do tego celu EMR. W EMR istnieje warstwa połączeń między połączeniem HIVE a DynamoDB. Następnie możesz przejść przez swój stół prawie tak, jak za pomocą instrukcji SQL i wykonać operacje.

Jest całkiem dobrym przewodnikiem dla it tutaj: http://docs.amazonwebservices.com/amazondynamodb/latest/developerguide/EMRforDynamoDB.html

to dla importu/eksportu, ale mogą być łatwo dostosowane.

Answer 3

Ostatnio DynamoDB wydany skanowanie równolegle: http://aws.typepad.com/aws/2013/05/amazon-dynamodb-parallel-scans-and-other-good-news.html

Teraz 10 gospodarze można odczytać w tym samym stole w tym samym czasie, a DynamoDB gwarantuje, że nie będzie widać te same elementy.

Answer 4

Optymistyczne blokowanie DynamoDB za pomocą wersji umożliwia węzłowi "sprawdzenie" zadania przez aktualizację pola statusu na "InProgress". Jeśli inny węzeł spróbowałby sprawdzić to samo zadanie poprzez aktualizację pola statusu, otrzyma błąd i będzie wiedział, aby pobrać inne zadanie.

http://docs.aws.amazon.com/amazondynamodb/latest/developerguide/JavaVersionSupportHLAPI.html

wiem, że to jest stare pytanie, więc odpowiedź jest bardziej dla społeczności niż oryginalnego plakatu.