Logowanie do Amazon S3

Question

Czy ktoś zbudował, czy ktoś wie, jak zbudować, strukturę logowania, która deponuje pliki dziennika w usłudze Amazon S3?

Budujemy aplikację SaaS i oczywiście planujemy mieć zilion serwerów i klientów. Chciałbym uprościć całą strukturę rejestrowania. W tej chwili używamy SLF4j do logowania i Logback jako faktycznej implementacji rejestrowania.

Myślę, że moglibyśmy wprowadzić kolejną implementację, która gromadziłaby komunikaty dziennika w pamięci, kompresowała je, a następnie przesyłała je do S3. Jeśli połączenie S3 było zwolnione lub spowolnione, implementacja spowodowałaby umieszczenie kolejki plików na dysku. Trochę jak Scribe Facebooka.

Zgaduję, że napisanie i przetestowanie tego zajęłoby mi cztery lub pięć dni. Jeśli jest inna implementacja, chciałbym o tym wiedzieć.

Answer 1

Istnieje wtyczka dla fluentd, która przechowuje pliki do s3. (Fluentd jest miły „kolektor plik dziennika”)

Czytaj więcej na ten temat tutaj: http://docs.fluentd.org/articles/apache-to-s3

Jeśli połączenie S3 jest w dół lub spowolnić fluentd file buffer buforuje wyjście dla Ciebie.

Answer 2

Szukałem google na to samo pytanie. Ale widocznie jestem trochę lepiej. Wiem, jak zalogować się do S3. Nie ma gotowego rozwiązania.

Proponuję coś takiego bezpiecznika S3 zamontowanie syslog: https://github.com/s3fs-fuse/s3fs-fuse

Teraz wszystko, co potrzebne jest, aby je zamontować również w systemie dziennika parsera, który może być dowolny system off-the-shelf, które mogą odczytuje logi z katalogu.

Oto, co wymyśliłem.

To, czego wciąż szukam przed implementacją, to kwestia wydajności takiego logowania do S3, ponieważ AWS ma własne problemy. Przeprowadzono dyskusję na temat ustawiania rozmiaru bloku/pliku, aby poprawić wydajność i obniżyć koszty odczytu/zapisu. Mam nadzieję, że pomaga innej zagubionej duszy.