Jeśli używasz Apache ZooKeeper, do czego go używasz?

Question

Czy jest ktoś, kto korzysta z ZooKeeper na swoich stronach? Jeśli to zrobisz, do czego go użyjesz? po prostu chcę zobaczyć prawdziwy przypadek użycia słowa?

Answer 1

Strona Heca „PoweredBy” ma jakiś szczegół, który może Cię zainteresować: http://wiki.apache.org/hadoop/ZooKeeper/PoweredBy

HBase wykorzystuje ZK i jest open source (Apache), które pozwalają spojrzeć na rzeczywisty kod. http://hbase.apache.org/

Answer 2

Możesz być zainteresowany w niedawno opublikowanej pracy naukowej na Heca:

http://research.yahoo.com/node/3280

Omówiono także trzy przypadki użycia i porównywalne projekty.

Używamy ZK jako zależności od HBase i zaimplementowaliśmy zaplanowaną kolejkę pracy dla czytnika kanałów (miliony kanałów).

Answer 3

Właśnie zacząłem robić badania dotyczące używania Zookeepera w wielu przypadkach w mojej infrastrukturze firm.

Ten, który wydaje się pasować do ZK, jest najlepszy, gdy mamy zestaw ponad 30 dynamicznych serwerów treści, które polegają w dużej mierze na buforowaniu opartym na plikach (Memcached jest zbyt wolny). Każdy z tych serwerów będzie miał agenta obserwującego określoną ścieżkę ZK, a gdy pojawi się nowy węzeł, wszystkie serwery łączą się w blokadę barierową, a gdy wszystkie już będą obecne, wszystkie aktualizują swoją konfigurację dokładnie w tym samym czasie. W ten sposób możemy zachować spójność wszystkich 30 konfiguracji/stanów roboczych serwerów.

Drugi przypadek użycia, otrzymujemy 45-70 milionów odsłon dziennie w typowym kształcie krzywej dzwonowej. Zaimplementowana strategia buforowania spada z klienta, do CDN, memcache, a następnie do pamięci podręcznej plików przed określeniem, kiedy wykonać wywołanie DB. Nawet z serią blokad w miejscu, jest dość typowe, aby uzyskać warunki wyścigowe (nazwałem je stemplami), które mogą nadwerężyć nasz backend. Mamy nadzieję, że ZK może dostarczyć narzędzie do opracowania spójnej i ujednoliconej usługi blokowania na wielu serwerach i może centrach danych.