Monitorowanie dzienników Amazon S3 za pomocą Splunk?

Question

Mamy dużą, rozszerzoną sieć użytkowników, którą śledzimy za pomocą identyfikatorów. Łączny ruch w okolicy wynosi 60 milionów wyświetleń miesięcznie. Zastanawiamy się obecnie nad przejściem z dość powolnego, opartego na bazie danych rozwiązania do rejestrowania (zbudowanego specjalnie na PHP-bałagan ...) do prostej opartej na loginie alternatywy, która opiera się na dziennikach Amazon S3 i Splunk.

Po użyciu Splunk do innych zadań związanych z analizą, naprawdę to lubię. Ale nie jest jasne, jak skonfigurować w systemie takie źródło, jak S3. Wydaje się, że zdalne źródła wymagają zainstalowania Universal Forwarder, co nie jest możliwe.

Wszelkie pomysły na ten temat?

Answer 1

Bardzo późna odpowiedź, ale szukałem tego samego i znalazłem aplikację Splunk, która robi to, co chcesz, http://apps.splunk.com/app/1137/. Jeszcze tego nie próbowałem.

Answer 2

Proponowałbym rejestrowanie wstępnie przetworzonych danych j-son w bazie danych documentdb. Na przykład użycie kolejek azure lub podobnych technologii przesyłania komunikatów magistrali usług, które pasują do scenariusza w połączeniu z błękitnym dokumentem db. Tak więc zachowam twoje podejście bazujące na bazach danych i zmodyfikuję je tak, aby był to łatwy do skalowania bazujący na dokumentach DB.

Answer 3

Używam http://www.insight4storage.com/ z AWS Marketplace, aby śledzić moje sumy wykorzystania pamięci masowej AWS S3 przez prefiks, wiadro lub klasę pamięci w czasie; plus pokazuje mi poprzednie wersje przechowywania według prefiksu i na wiadro. Ma ustawienie zapisywania danych S3 jako logi w formacie splunk, które mogą działać w twoim przypadku, oprócz interfejsu użytkownika i interfejsu API serwisu.