Jak poprawić powolne działanie reaktywnego kafka (Scala plus strumienie Akka)?

Question

Przenoszę mój projekt z RabbitMQ do Kafki i próbuję zrozumieć, jak szybko będzie reagować na kafka.

Obecnie jestem w stanie napisać około 12K/sek banalnych wiadomości na sekundę do Rabbit, a po przeczytaniu zrobić trywialne pull z kolejki przez strumień "hello world" z prędkością około 4K/sek.

Przeprowadziłem się do Kafki z reaktywnymi strumieniami Mogę napisać może 1M/s - ogromna wygrana! Ale w tym samym środowisku, mogę tylko płynąć o 2K/sek przez strumień na odczycie z wykorzystaniem podejścia w przykładach tutaj: DummyConsumer.scala

Czy ktoś zna jakieś wskazówki dla jak mogę uzyskać odczytać z powrotem do poziomów porównywalnych do podejścia Królika?

Interesujące: Właśnie wypróbowałem to "bezpośrednio" (dostęp do Kafki przez surowe sterowniki Java vs reactive-kafka) i mam około 22K czyta, więc to całkiem nieźle. Szumuje mi coś o tym, jak używam reaktywnego kafka, spowalnia to wszystko.

Ok ... Poluję na to. Następny Próbowałem surowy strumień Akka "Hello World":

now = System.currentTimeMillis() 
count = 0 
val in2 = Source(1 to num) 
val g = RunnableGraph.fromGraph(GraphDSL.create() { implicit b => 
    import GraphDSL.Implicits._ 
    val show = Flow[Int].map{ i => count +=1; if(count==num) println(s"time 2 ($count): "+(System.currentTimeMillis() - now)); i } 
    in2 ~> show ~> Sink.ignore 
    ClosedShape 
}) 
g.run() 
Thread.sleep(2000) 

ten prowadził w bardzo szybkim 742K/s! Tak więc Kafka Raw jest szybki, a strumienie Akka są szybkie. Więc sprawca jest gdzieś w tym, jak reaktywny kafka jest zbudowany (lub bardziej prawdopodobnie) jak próbuję go użyć. Rozważając tarcie, powinienem spodziewać się czegoś zbliżonego do surowej kafki 22K/sek. Hmm.

Answer 1

Nie pełnej odpowiedzi, ale spróbuj jeszcze raz, ale niedawne (wrzesień 2016) Akka Streams Kafka 0.11

Istnieją znaczne ulepszenia wydajności. Zrobiliśmy kilka testów porównawczych i chociaż wciąż jest trochę narzut z opakowania reaktywnego kafka (pamiętaj jednak, że dostaniesz też coś w zamian: np. Wszystkie korzyści płynące z przyjemnego API z asynchronicznym przeciwciśnieniem!), ogólne liczby wyglądają bardzo dobrze i są coraz lepsze.

Oto kilka typowych scenariuszy użytkowania Kafka, porównując stare reaktywną-Kafka wersję (M4), aktualną wersję (0,11) i równoważne funkcje zaimplementowane przy użyciu zwykłego Kafka Producers/Consumers (nie biorąc pod uwagę, oczywiście , łącząc się z dowolnymi innymi składnikami reaktywnymi).

Zobacz więcej w "Benchmarking akka-stream-kafka" z Krzysiek Ciesielski.