Jak dokładnie działają logi aplikacji Google App?

Question

Gdzie Google przechowuje logi, gdy wykonujesz instrukcję Logging? Wyrażenia rejestrowania wydają się dość szybkie, więc nie wydaje się, że są przechowywane w magazynie danych.

Jak niezawodne są dzienniki? Czy jeśli zrobię instrukcję rejestrowania i się powiedzie, czy jest to dość pewne, że pojawi się w dziennikach?

Ile przeszłych historii dzienników jest przechowywanych?

Powodem, dla którego jestem tym zainteresowany, jest to, że tworzę stronę z pytaniami i odpowiedziami i chcę śledzić poglądy każdego unikalnego zalogowanego użytkownika na każde pytanie i wyświetlać liczbę wyświetleń na pytanie strona. Więc jeśli 10 różnych użytkowników odwiedzi stronę z pytaniami 100 razy, wciąż liczy się tylko 10 unikalnych widoków.

Mam komputer zdalny, który wykonuje przetwarzanie w tle dla mojej aplikacji. Planuję, aby ten komputer poza siedzibą pobrał logi co 30 minut i obliczył, jaka powinna być liczba wyświetleń dla każdego pytania na podstawie logów. Robiąc to, nie muszę tworzyć encji magazynu danych dla każdego innego pytania, które każdy użytkownik przegląda.

Co wy myślicie? Czy ktoś widzi z tym jakieś problemy?

EDYCJA: Myślę, że moim głównym zmartwieniem jest niezawodność dzienników.

Answer 1

To nie jest odpowiedź na twoje pytanie - raczej jest odpowiedzią na problem, który próbujesz rozwiązać.

Jeśli znasz numer Bloom Filters i używasz Memcached's incr (lub sharded datastore counter), możesz utworzyć rozwiązanie, które jest "wystarczająco dobre". Możesz użyć Bloom Filter, aby sprawdzić, czy w zestawie znajduje się wartość (w tym przypadku identyfikator użytkownika), a jeśli nie, zwiększ swój licznik i dodaj wartość do filtra. Jedną z właściwości Bloom Filters jest to, że dodawanie wartości do zestawu, który ma być włączony, jest operacją o stałym czasie. Spacewise, zajmie trochę miejsca na przechowywanie każdego potencjalnego filtra, ale wydaje się, że jest to już rząd wielkości mniej złożony niż pisanie kodu, aby okresowo przeglądać unikalne. Here's a Python implementation.

Nic nie jest za darmo, jednak - powiedziałem "wystarczająco dobre" było ważne. W przypadku filtrów Bloom zawsze istnieje prawdopodobieństwo fałszywego pozytywu. Oznacza to, że w zależności od wielkości haszu na pytanie, istnieje niewielka szansa, że ​​sprawdzisz, czy identyfikator użytkownika został już policzony i otrzymasz "TAK, TO", gdy po raz pierwszy użytkownik wyświetlił to pytanie. . Możesz obliczyć rozmiar potrzebny do rozsądnego fałszywego pozytywu, ale istnieje kompromis w tym zakresie.