Jestem nowy w kafce, używam kafka na jednym komputerze od teraz. Chcę uruchomić kafka w środowisku rozproszonym na wielu komputerach. Nie ma odpowiedniej dokumentacji do tego. Każda dokumentacja lub sugestia na ten temat będzie naprawdę pomocna.Kafka w systemie rozproszonym
Zasadniczo trzeba wykonać follwing
1) Ustaw Kafka na wszystkich komputerach
2) Skonfiguruj właściwości config/server1.properties plik, aby określić unikalną id dla każdej maszyny. Możesz to zrobić, ustawiając właściwości broker.id w pliku konfiguracyjnym. na przykład broker.id=1, broker.id=2. Dla każdego brokera ten identyfikator powinien być unikalny. W ten sposób każdy węzeł jest identyfikowany w klastrze kafka.
3) Uruchom kafka we wszystkich węzłach.
Możesz odnieść Step 6: Setting up a multi broker cluster z oficjalnej strony szybkiego uruchamiania.
także here jest ładny artykuł warto zajrzeć
Dodawanie do poprzedniej odpowiedzi przez user2720864
Załóżmy, że jest potrzebny układ Kafka z poniższej konfiguracji.
7 Kafka węzłów
3 właścicieli zoo
celu osiągnięcia tej instalacji 7 przypadków Kafka w 7 serwera/vm (wystąpienia), a w każdym z tych przypadków ustawić inny pośrednika-ID ten pozwoli Zookeeperowi zidentyfikować różne węzły kafka do prowadzenia księgowości, konserwacji. broker.id = X (/config/server.properties)
Aby uruchomić zookeepers, możesz użyć 3 z poprzednich instancji kafka lub użyć nowych serwerów do uruchomienia zookeepers. Po ustaleniu serwerów, na których działają zookeepery, zmień plik /config/server.properties, aby określić zookeepers.
zookeeper.connect = hostname1: port1, hostname2: port2
W rozproszonym środowisku dobrze jest mieć 3 hodowców zoo. Podczas gdy istnieje tylko jeden zookeeper, który działa jako prawdziwy mistrz, pozostałe 2 zookeepery działają jako fail-over. Kiedy master zawiedzie, jeden z dwóch ZK przejmie rolę mistrza.
Znalazłem ten link za bardzo przydatne, pomógł mi wyjaśnić wiele rzeczy na temat architektury kafka.
This to dobre odniesienie dla wszystkich konfiguracji plików właściwości w kafejce.
Mam nadzieję, że to pomoże!
Dzięki za sugestie postaram się udzielić wyczerpującej odpowiedzi. – smadhava
Czy myślisz o [coś w tym stylu] (http://kafka.apache.org/documentation.html#distributionimpl)? –
Chcę, aby producent działał w innym systemie, brokerów na wielu systemach i konsumenta w innym systemie, aby go skonsumować. –
działający producent/konsument w samodzielnej maszynie nie przyniesie Ci wiele korzyści. Należy dążyć do rozpowszechniania aplikacji w klastrze, aby zrównoważyć obciążenie i zwiększyć przepustowość. Na przykład W przypadku producentów, podczas pracy w trybie asynchronicznym, poziom równoległości zależy od liczby brokerów obecnych w klastrze. – user2720864