2011-06-23 7 views
7

Podobny do mojego pytania here Próbuję skonfigurować wiele instancji amazon EC2, aby wykonać kilka operacji wieloprocesowych. Myślałem o użyciu Selera do zarządzania robotnikami. Czy ktokolwiek otrzymał seler do pracy przy instancjach EC2 z komputerem lokalnym jako hostem?Konfigurowanie instancji EC2 jako pracowników selekcji z komputerem lokalnym jako hostem

Czy ktoś ma jakieś dobre sugestie, tutoriale, porady itp., Które mogą pomóc? Użyłem selera do wykonania prostych asynchronicznych procesów w django, ale nic z tej skali (pracownik i gospodarze znajdowali się na tym samym komputerze).

Również większość przetwarzania jest "oparta na plikach" (tj. Odczytywanie i zapisywanie plików) ... czy uważasz, że lepiej byłoby wybrać i przesłać zawartość pliku z selerem (większość plików to 1-2kb tekstu) lub w celu odzwierciedlenia systemu plików w instancjach EC2, a następnie po prostu poprosić pracowników o zwrócenie wyników (zazwyczaj 0,5 kb tekstu).

+1

Poprosiłem [to samo pytanie] (https://groups.google.com/forum/?fromgroups=#!topic/celery-users/EnJGOK7kf_Y) na liście mailingowej użytkowników Selera i wciąż czekam za odpowiedź. Czy możesz skomentować, jak ostatecznie zdecydowałeś się to zrobić? –

+1

@ andres.riancho Wystarczy wykonać kopię instancji aplikacji, aby wszystkie kopie nasłuchiwały w brokerze wiadomości. Możesz wyłączyć seler na maszynie app i uruchomić selera na wszystkich innych kopiach. W ten sposób instancja aplikacji umieści ją w kolejce, a kopie zużyją zadania – noahandthewhale

Odpowiedz

1

Użyłem Amazon SQS do zarządzania zadaniami w Amazon EC2. To bardzo skalowalne rozwiązanie. Boto to najlepsza biblioteka do zarządzania usługami Amazon, tak jak to znalazłem.

Do przechowywania dużej ilości małych plików można użyć MongoDB GridFS, pozwoli to na przechowywanie koncertów lokalnych plików. Użyłem MongoDB i uzyskałem doskonałą wydajność w takich zadaniach. Jedyny problem - MongoDB w architekturze 32-bitowej jest bardzo ograniczony. Amazon ma mikro-instancję, a następnie kosztuje dużą instancję, która obsługuje 64. Mikro instancji bardzo ograniczone przez procesor i pamięć, a jeśli nie będzie pasować, musisz skonfigurować duże, które mogą kosztować dużo.

Mikro instancja na moich zadaniach była w stanie odczytać/zapisać do 10 gigów dziennie bez żadnych problemów.

Proszę również spojrzeć na wystąpienia Spot. Kosztuje to około 3 razy mniej niż na żądanie i możesz uznać je za całkiem dobre do przetwarzania w tle.

Powiązane problemy