Obliczanie histogramu danych transmisji strumieniowej - Obliczanie histogramu online

Question

Szukam algorytmu do generowania histogramu na dużej ilości danych strumieniowych, maksymalna i minimalna nie są znane z góry, ale odchylenie standardowe i średnia w danym zasięg.

Doceniam Twoje pomysły.

Cheers,

Answer 1

Właśnie znalazłem jedno rozwiązanie. Sec. 2.2 "Tworzenie histogramu w trybie on-line z algorytmu A do przesyłania równoległego algorytmu decyzyjnego". Algo jest realizowany przez klasę NumericHistogram w projekcie Hive:

rodzajowe, wielokrotnego użytku klasa histogram który obsługuje częściowe agregacji. Algorytm heurystyczny jest przystosowany z poniższego papieru: Yael Ben-Haim i Elad Tom-Tov, "To strumieniowe drzewo równolegle decyzja algorytm", J. Machine Learning Badania 11 (2010), pp 849-. -872. Chociaż nie ma aproksymacji gwarancji, wydaje się, że działa dobrze z odpowiednimi danymi i dużą (np. 20-80) liczbą pojemników histogramu.

Answer 2

odchylenie standardowe i myśli nie mają znaczenia dla histogramu. Po prostu wybierz rozdzielczość i narysuj pasek tak wysoki, jak masz trafienia dla jego zasięgu. Będzie to oczywiście droższe przy wyższej rozdzielczości. Możesz spróbować dostosować rozdzielczość, próbując dopasować istniejące dane do normalnej krzywej (lub dowolnego modelu) i znaleźć odchylenie standardowe, aby wybrać rozsądną ziarnistość.

Edytuj: Przeczytaj źle za pierwszym razem. Jeśli znasz przybliżone odchylenie standardowe, możesz wybrać rozsądne rozmiary dla grup histogramu od początku. Wystarczy porównać każdy nowy wpis z bieżącym minimum i maksimum i odpowiednio dostosować swój zakres.

Answer 3

Używam pakietu o nazwie "GoHistogram", który zapewnia dwa histogramy przybliżenia transmisji strumieniowej (Numeric histogram i ważony histogram numeryczny). Jest on zaimplementowany w Golang (https://code.google.com). Oto link:

https://github.com/VividCortex/gohistogram