Mamy folder dzienników błędów Elmah w formacie XML. Pliki te będą w milionach, a każdy plik może mieć rozmiar do 50 kb. Musimy mieć możliwość wyszukiwania plików (np. Jakie błędy wystąpiły, jaki system zawiódł itp.). Czy mamy system o otwartym kodzie źródłowym, który indeksuje pliki i może nam pomóc w przeszukiwaniu plików za pomocą słów kluczowych? Spojrzałem na Lucene.net, ale wygląda na to, że będę miał kod aplikacji. Proszę doradzić.Wyszukiwanie plików dziennika błędów elmah (być może w 1000)
Odpowiedz
Jeśli potrzebujesz logów w folderze w formacie XML, może być użyteczny elmah-loganalyzer.
Można również użyć Microsoft Log Parser wykonać "sql jak" zapytaniami ponad plików xml:
LogParser -i:XML "SELECT * FROM *.xml WHERE detail like '%something%'"
EDIT:
Można użyć kombinacji nuczy + SOLR lub logstash + Elastic Search jako rozwiązanie indeksujące.
- http://wiki.apache.org/nutch/NutchTutorial
- http://lucene.apache.org/solr/tutorial.html
http://blog.building-blocks.com/building-a-search-engine-with-nutch-and-solr-in-10-minutes
- http://www.elasticsearch.org/tutorials/using-elasticsearch-for-logs/
- http://www.javacodegeeks.com/2013/02/your-logs-are-your-data-logstash-elasticsearch.html
Przetestowałem LogParser za pomocą "Log Parser jaszczurka" tylko 71 plików xml i wydaje się bardzo bardzo powolny. Potrzebowałbym tutaj rozwiązania indeksującego. –
Zobacz inne linki. Myślę, że każda z tych dwóch opcji pasuje do twoich wymagań. – nimeshjm
Jesteśmy kilku programistów wykonujących stronę internetową http://elmah.io. elmah.io indeksuje wszystkie twoje błędy (w ElasticSearch) i pozwala robić fajne wyszukiwania, grupować błędy, ukrywać błędy, błędy filtra czasu i więcej. Jesteśmy obecnie w wersji beta, ale jeśli zarejestrujesz się na http://elmah.io, otrzymasz link do strony w wersji beta.
Niestety, elmah.io nie importuje istniejących dzienników błędów. Otworzymy źródło implementacji typu ErrorLog ELMAH, który indeksuje twoje błędy we własnym ElasticSearch (obejrzyj https://github.com/elmahio dla projektu). Znowu ten dziennik błędów nie będzie indeksował twoich istniejących dzienników błędów, ale możesz zaimplementować analizator składający się z plików XML i zaindeksować wszystko przy użyciu naszego programu rejestrującego błędy Open Source. Możesz także zaimportować błędy bezpośrednio do elmah.io za pośrednictwem naszego API, jeśli nie chcesz zaimplementować nowego interfejsu na górze ElasticSearch.
A projekt jest na żywo: https://github.com/elmahio/Elmah.Io.ElasticSearch – ThomasArdal
- 1. ELMAH - Filtrowanie 404 błędów
- 2. Elmah rejestruje tylko 15 błędów
- 3. Oddzielna aplikacja przeglądarki dla dziennika ELMAH
- 4. Elmah zgłaszania niechcianych błędów 404
- 5. W programie ELMAH z MVC 3, Jak mogę ukryć dane wrażliwe formularza z dziennika błędów?
- 6. Dokumentacja formatu dziennika błędów NGINX
- 7. Czy plik java.util.logging może być skonfigurowany do używania skompresowanych plików dziennika?
- 8. Wyświetlanie komunikatów dziennika błędów w dzienniku GTK
- 9. FileSystemWatcher nie z 1000 plików kreacji
- 10. log4j2 - ograniczenie liczby plików dziennika
- 11. Serilog - wiele plików dziennika
- 12. Jak wykonać proste wyszukiwanie plików w cmd
- 13. Wyszukiwanie dziennika MySQL Bin dla zapytania
- 14. Wiosenny rozruch wielu plików dziennika
- 15. PHP-FPM z dedykowanym plikiem dziennika błędów
- 16. Czy wiele plików może być przechowywanych w tym samym bloku?
- 17. Lokalizacja dziennika błędów Aptana Studio 3?
- 18. Wyszukiwanie plików rekursywnie
- 19. Rekursywne wyszukiwanie plików (PHP)
- 20. Wysyłanie wyników ELMAH przez NLog
- 21. Szybkie wyszukiwanie plików TypeScript
- 22. Jak mogę wstrzykiwać zależności do niestandardowej listy błędów ELMAH?
- 23. Elmah: Jak zalogować dane formularza?
- 24. Rejestrowanie błędów Elmah, czy mogę po prostu zalogować wiadomość?
- 25. Wiele plików dziennika z log4j
- 26. Czy wydajność syslog może być poprawiona?
- 27. Wyszukiwanie tekstowe wszystkich plików .xib w Xcode?
- 28. PHP: ślad stosu dziennika dla błędów FATAL w produkcji
- 29. Zaawansowane wyszukiwanie plików systemu Windows
- 30. Zabezpieczanie kanałów informacyjnych Elmah na stronie ASP.NET
Może to być czas na przełączenie się na 'SqlErrorLog'. – jrummell
Jest to decyzja podjęta przez kogoś, kto ma "dużo wyższą" pensję niż ja. –