Jak zbudować odpowiednią bazę danych dla systemu analizy ruchu?

Question

Jak zbudować odpowiednią strukturę dla usługi analitycznej? Obecnie mam 1 tabelę, która przechowuje dane o każdym użytkowniku, który odwiedza stronę z identyfikatorem mojego klienta, więc później moi klienci będą mogli zobaczyć statystyki dla określonej daty.

Dzisiaj zastanawiałem się trochę i zastanawiam się: powiedzmy, że mam 1000 użytkowników i każdy ma codziennie około 1000 wyświetleń na swoich stronach, co oznacza, że ​​każdego dnia otrzymuję 1 000 000 (1M) nowych rekordów do jednej tabeli. Jak to będzie działać po około 2 miesiącach (kiedy tabela osiągnie rekord 60 milionów)?

Po prostu myślę, że po pewnym czasie będzie miał tyle rekordów, że zapytania PHP, aby wyciągnąć dane, będą naprawdę ciężkie, powolne i zabierają dużo zasobów, czy to prawda? i jak temu zapobiec?

Mój znajomy pracuje nad czymś podobnym, a dla każdego klienta przygotuje nowy stół, czy to jest właściwy sposób na rozpoczęcie pracy?

Dzięki!

Answer 1

Consider this Link to the Google Analytics Platform Components Overview page i zwrócić szczególną uwagę na sposób zapisywania danych w bazie danych, opierając się wyłącznie na architekturze całego systemu.

Zamiast zapisywać wszystko od razu w bazie danych, można zapisać wszystko do pliku dziennika, a następnie przetworzyć dziennik później (być może w czasie, gdy ruch nie jest tak wysoki). Pod koniec dnia nadal będziesz musiał wykonać wszystkie te zapisy do swojej bazy danych, ale jeśli wsadujesz je razem i robisz je, gdy tego rodzaju obciążenie jest bardziej znośne, twój system będzie skalował się o wiele lepiej.

Answer 2

Można normalizować wyświetlenia takich danych;

Client Table 
{ 
    ID 
    Name 
} 


Pages Table 
{ 
    ID 
    Page_Name 
} 

PagesClientsVisits Table 
{ 
    ID 
    Client_ID 
    Page_ID 
    Visits 
} 

i tylko przyrostowe wizyty przy stole finałowym przy każdym nowym wyświetleniu. Wtedy maksymalna liczba rekordów się zmienia (Liczba klientów * Liczba stron)

Answer 3

Posiadanie stołu z 60 milionami rekordów może być w porządku. Po to jest baza danych. Ale powinieneś uważać na ile pól masz w tabeli. Również jaki typ danych (=> rozmiar) ma każde pole.

Tworzysz raporty na temat danych. Zastanów się, jakie dane naprawdę potrzebujesz do tych raportów. Na przykład możesz potrzebować tylko liczby wizyt na użytkownika na każdej stronie. Prosta liczba wystarczy.

Co można również zrobić, to generować raport co noc, a następnie usuwać surowe dane.

Więc przeczytaj i pomyśl o tym.

Answer 4

Problem z którym się spotykasz to system związany z I/O. 1 milion rekordów dziennie to około 12 zapytań do zapisu na sekundę. Jest to możliwe, ale wyciągnięcie danych podczas pisania w tym samym czasie spowoduje, że twój system zostanie przywiązany na poziomie dysku twardego.

Co należy zrobić, to skonfigurować bazę danych do obsługi woluminu I/O, który będziesz wykonywać, na przykład - użyć odpowiedniego silnika bazy danych (InnoDB, a nie MyISAM), upewnij się, że masz wystarczająco szybki podsystem HDD (RAID , nie są to zwykłe napędy, ponieważ mogą i mogą się nie udać w pewnym momencie), zaprojektuj optymalnie bazę danych, sprawdź zapytania za pomocą EXPLAIN, aby zobaczyć, gdzie mógłbyś się z nimi nie pomylić, może nawet użyj innego mechanizmu magazynowania - osobiście użyłbym TokuDB gdybym był tobą.

Ponadto, mam nadzieję, że będziesz wykonywać zapytania, sortowanie, filtrowanie po stronie bazy danych, a nie po stronie PHP.