Kafka Consumer otrzymaj parę wartości klucza

Question

Obecnie pracuję z Kafka i Flink, mam kafka działającego na moim lokalnym komputerze i stworzyłem temat, który jest konsumowany.

Pulpit \ Kafka \ bin \ WINDOWS> Kafka-console-consumer.bat --zookeeper localhost: 2181 -topic Test

ale to jest tylko pobieranie wiadomości,

czy istnieje sposób, aby uzyskać dalsze szczegóły dotyczące wiadomości? powiedzmy czas? klawisz? Sprawdziłem dokumentację kafka, ale nie znalazłem czegoś na ten temat.

Answer 1

Korzystając z konsoli odbiornika (używam Kafki 0.9.0.1) można wydrukować tylko klucz i wartość wiadomości przy użyciu różnych formatów. Aby wydrukować klucz, ustaw właściwość print.key na true.

Istnieje jeszcze jedna właściwość key.separator, która domyślnie to "\ t" (zakładka), którą można również zmienić na dowolną.

Aby ustawić te właściwości, można utworzyć plik konfiguracyjny i użyć --consumer.config lub przekazać właściwości za pomocą --property key = value.

Możesz także zaimplementować swój własny formatter i użyć go z opcją --formatter, ale nadal będziesz miał tylko klucz i wartość, ponieważ to zapewnia cecha MessageFormatter (patrz writeTo poniżej).

trait MessageFormatter { 
    def writeTo(key: Array[Byte], value: Array[Byte], output: PrintStream) 

    def init(props: Properties) {} 

    def close() {} 
} 

Na przykład:

./bin/kafka-console-consumer.sh --new-consumer --bootstrap-server kafka-1:9092 --topic topic1 --property print.key=true --property key.separator="-" --from-beginning 
key-p1 
key-p2 
key-p3 
null-4 
null-8 
null-0