najlepszy sposób statystycznie wykrywania anomalii w danych

Question

nasze webapp zbiera ogromną ilość danych o działaniach użytkowników, Business Network, obciążenie bazy danych, etc etc etc

Wszystkie dane są przechowywane w magazynach i mamy sporo ciekawych widoków na tych danych.

Jeśli wydarzy się coś dziwnego, są szanse, że pojawi się gdzieś w danych.

Jednakże, aby ręcznie wykryć, czy dzieje się coś niezwykłego, należy nieustannie przeglądać te dane i szukać dziwactw.

Moje pytanie: jaki jest najlepszy sposób na wykrycie zmian w danych dynamicznych, które można uznać za "nietypowe".

Czy filtry bayesan (widziałem te wspomniane podczas czytania o wykrywaniu spamu) w drodze?

Wszelkie wskazówki byłyby świetne!

EDYCJA: W celu wyjaśnienia danych na przykład pokazuje dzienną krzywą obciążenia bazy danych. Krzywa ta zwykle wygląda podobnie do krzywej z wczoraj Z czasem krzywa ta może się zmieniać powoli.

Byłoby miło, gdyby krzywa z dnia na dzień zmieniała się w pewnych granicach, ostrzeżenie może zgasnąć.

R

Answer 1

Bayesa klasyfikacja potęga pomóc znaleźć kilka anomalie w danych, w zależności od rodzaju danych i jak dobrze trenować filtr Bayesa.

Istnieje nawet jeden dostępny jako usługa internetowa @uClassify.com.

Answer 2

To zależy tak bardzo od tego, co jest dane. Wybierz klasę statystyczną i naucz się podstaw. Zazwyczaj nie jest to łatwy lub prosty problem.

Answer 3

Spójrz na Control Charts, umożliwiają one wizualne śledzenie zmian danych i określanie, kiedy dane są "poza kontrolą" lub "anormalne". Są one intensywnie wykorzystywane w produkcji w celu zapewnienia kontroli jakości.

Answer 4

Na to pytanie nie można odpowiedzieć, nie wiedząc o wiele więcej na temat danych, które posiadasz. Aby zobaczyć, jakie rodzaje podejść istnieją, zobacz Anomaly Detection: A Survey autorstwa Chandola, Banerjee i Kumar.