Jak skonfigurować niskokosztowy klaster

Question

W moim domu mam około 10 komputerów różnych procesorów i prędkości (wszystkie zgodne z x86). Chciałbym je zgrupować. Spojrzałem na openMosix, ale odkąd przestali na nim rozwijać, zdecydowałem się go nie używać. Wolałbym korzystać z najnowszej lub najnowszej wersji dystrybucji Linuksa (Suse 11, Suse 10.3, Fedora 9 itd.).

Czy ktoś zna jakieś dobre witryny (lub książki), które wyjaśniają, jak utworzyć i uruchomić klaster przy użyciu darmowych aplikacji open source, które są wspólne dla większości popularnych dystrybucji?

Chciałbym klastra równoważenia obciążenia dla niestandardowego oprogramowania, który chciałbym napisać. Nie mogę użyć czegoś takiego jak Folding @ home, ponieważ potrzebuję stałego kontaktu z każdą częścią aplikacji. Na przykład, gdy prowadziłem symulację i jeden komputer kontrolował, gdzie pada deszcz, i jeszcze jeden kontrolował to, co robią moje zwierzęta roślinne w symulacji.

Answer 1

Niedawno skonfigurowałem klaster OpenMPI przy użyciu Ubuntu. Niektóre istniejące zapisy są na https://wiki.ubuntu.com/MpichCluster.

Answer 2

Potrzebujesz tylko klastra, jeśli wiesz, co chcesz robić. Wracaj z rzeczywistym wymaganiem, a ktoś zaproponuje rozwiązanie.

Answer 3

Twoje pytanie jest zbyt ogólne. Jakiej aplikacji klastrowej chcesz użyć?

Zdecydowanie najprostszym sposobem na ustawienie "klastra" jest zainstalowanie Folding @ Home na każdym komputerze. Ale wątpię, że naprawdę o to prosisz.

Skonfigurowałem klastry do transkodowania muzyki/wideo za pomocą prostych skryptów bash i wspólnych kluczy ssh.

Zarządzam klastrami serwerów pocztowych w pracy.

Answer 4

Myślę, że szuka czegoś podobnego z openMosix, jakimś ogólnym klastrem, na którym każda aplikacja może działać rozproszona wśród węzłów. AFAIK nie ma nic podobnego. Klastrów opartych na MPI są najbliższe rzeczy, które można uzyskać, ale myślę, że można na nich uruchomić tylko aplikacje MPI.

Answer 5

Linux Virtual Server

http://www.linuxvirtualserver.org/

Answer 6

Spójrz na Rocks. Jest to "dystrybucja" pełnego klastra oparta na CentOS 5.1. Instaluje wszystko, czego potrzebujesz (biblioteki, aplikacje i narzędzia), aby uruchomić klaster i jest prosty w instalacji i użyciu. Wykonujesz wszystkie modyfikacje i konfiguracje na węźle głównym, co pomaga w szybkim uruchomieniu wszystkich innych węzłów. Niedawno instalowałem z nim klaster o ponad 1200 węzłach (ponad 10.000 rdzeni!)! I nie zawaha się zainstalować go w klastrze 4 węzłów, ponieważ obciążenie do zainstalowania wzorca jest zerowe!

Można uruchamiać aplikacje napisane dla bibliotek klastrów, takich jak MPI lub PVM, lub można użyć systemu kolejkowego (Sun Grid Engine) do dystrybucji dowolnego typu zadań. Lub distcc, aby skompilować kod wyboru na wszystkich węzłach!

Jest to open source, gpl, free, wszystko, co lubisz!

Answer 7

Używam pvm i to działa. Ale nawet przy ładnej konfiguracji ssh, pozwalającej na logowanie bez wprowadzania hasła do maszyny, możesz z łatwością zdalnie uruchamiać polecenia na różnych węzłach komputerowych.