Akumulator iskry nie jest wyświetlany w iskrze WebUI

Question

Używam streamingu iskrowego. Zgodnie z Przewodnikiem programistycznym Spark (patrz http://spark.apache.org/docs/latest/programming-guide.html#accumulators), nazwane akumulatory zostaną wyświetlone w WebUI, jak poniżej: Niestety, nie mogę tego nigdzie znaleźć. Rejestruję takie akumulatory (Java):

LongAccumulator accumulator = new LongAccumulator();  
ssc.sparkContext.sc().register(accumulator, "my accumulator"); 

Używam Spark 2.0.0.

Answer 1

Nie mam działającego przykładu strumieniowego przesyłania strumieniowego, ale w przypadku braku przesyłania strumieniowego ten interfejs można znaleźć na karcie etapów przy wyborze konkretnego etapu. Także, ja generalnie stworzyć akumulator takiego:

val accum = sc.longAccumulator("My Accumulator") 

Równowartość w streamingu dla iskra będzie prawdopodobnie zastąpić sc ssc.SparkContext

Answer 2

pracował dla mnie. Poniżej jest mój przykładowy kod

Accumulator<Integer> spansWritten = jsc.sparkContext().intAccumulator(0,"Spans_Written"); 
JavaDStream<Span> dStream = SourceFactory.getSource().createStream(jsc) 
    .map(s -> { 
     spansWritten.add(1); 
     return s; 
    }); 

Jednak, gdy starałem się ich używać wewnątrz dekodera podczas tworzenia strumienia do Kafki, to nie pojawi się w interfejsie użytkownika.

Oto jak to wygląda w UI (tab wybierz etapach od góry, a następnie kliknąć na jednej sceny) screen shot