Jak zbudować skuteczną kontrolę zdrowia brokera Kafki?

Question

W mojej aplikacji wykonam pewnego rodzaju kontrolę stanu mojego kufrowskiego kufra.

Obecnie robię TopicMetadataRequest do wykrywania martwych brokerów:

Future { 
    // this will fail if Kafka is unavailable 
    consumer.send(new TopicMetadataRequest(Seq("health-check-topic"), 1)) 
    } 

Niestety to wywołanie generuje ogromny ruch sieciowy, ponieważ klastra topologii/ustawień.

Czy istnieje lepszy sposób na sprawdzenie brokerów kafka? Potrzebuję czegoś prostego, na przykład wskaźnika true/false.

Answer 1

Zdecydowanie polecam korzystanie z Menedżera Yahoo Kafka, który zawiera wszystkie informacje związane z konfiguracją Kafki. (np. bajty wysłane/zużyte w przedziale czasowym). To narzędzie może również służyć do zarządzania klastrem Kafka.

Ujawnia również Restful API i możesz spożywać te API w swojej aplikacji, jeśli to konieczne. Kliknij poniższy link, aby uzyskać do niego dostęp.

https://github.com/yahoo/kafka-manager

Answer 2

Można również użyć Heca API, aby otrzymać listę pośrednika następująco:

ZooKeeper zk = new ZooKeeper(KafkaContextLookupUtil.getZookeeperConnect().getZkConnect(), 10000, null); 
    List<String> ids = zk.getChildren("/brokers/ids", false); 
    List<Map> brokerList = new ArrayList<>(); 
    ObjectMapper objectMapper = new ObjectMapper(); 

    for (String id : ids) { 
     Map map = objectMapper.readValue(zk.getData("/brokers/ids/" + id, false, null), Map.class); 
     brokerList.add(map); 
    } 
    return brokerList;