Narzędzia do konfigurowania i uruchamiania zadania sieciowego w Google Compute Engine?

Question

Mam potrzebę skonfigurowania i uruchomienia "zawstydzających" zadań równoległych w Google Compute Engine. Szukam narzędzi, które to ułatwią.

W EC2 używałem gromady MIT, aby skonfigurować klaster, a następnie po prostu przesłać zadanie do SGE.

Czy są jeszcze dostępne podobne narzędzia do Google Compute Engine?

Jeśli nie, prawdopodobnie ręcznie skonfiguruję klaster Condor do wykonania zadań. Zabij Buzza.

Answer 1

Nic nie znalazłem. Obecna ścieżka Starcluster do wsparcia GCE to oczekiwanie na oficjalne wsparcie boto dla GCE. To wszystko może trochę potrwać, więc po prostu napisałem kod Pythona, aby uruchomić i zakończyć podstawowy klaster.

Udostępniłem to here on github.

Mam nadzieję, że ktoś inny uzna to za przydatne, przynajmniej jako przykładowy kod.

Answer 2

Starcluster jest naprawdę fajny. Niestety, nie ma wsparcia dla GCE i znam podobne systemy w tym momencie.

Chciałbym, aby tak się stało, więc jeśli coś działa, proszę, podziel się!

Answer 3

Elasticluster obsługuje technologię Google Compute Engine. Jest bardzo podobny do Starcluster i działa na AWS przy użyciu boto, GCE, Openstack. https://github.com/gc3-uzh-ch/elasticluster