Benchmarking programów Java

Question

Dla uniwersytetów wykonuję modyfikacje kodu bajtowego i analizuję ich wpływ na wydajność programów Java. Dlatego potrzebuję programów Java - w najlepszym przypadku używanych w produkcji - i odpowiednich testów porównawczych. Na przykład mam już HyperSQL i mierzę jego wydajność przez program testowy PolePosition. Programy Java działające na maszynie JVM bez kompilatora JIT. Dzięki za pomoc!

P.S .: Nie mogę używać programów do testowania wydajności JVM lub samego języka Java (np. Wide Finder).

Answer 1

Brent Boyer, napisał fajną serię artykułów do prac deweloperskich IBM: Robust Java benchmarking, któremu towarzyszy schemat mikro-benchmarkingowy oparty na solidnym podejściu statystycznym. Article i Resources Page.

Ponieważ robisz to na uniwersytecie, możesz być zainteresowany Andy Georges, Dries Buytaert, Lieven Eeckhout: Statistically rigorous java performance evaluation in OOPSLA 2007.

Answer 2

Każdy doświadczony programista powie, że przedwczesna optymalizacja jest gorsza niż brak optymalizacji. To w najlepszym wypadku marnowanie zasobów i źródło nieskończonych przyszłych (i bieżących) problemów.

Bez kontekstu, każda aplikacja, nawet z dziennikami testów porównawczych, nie powie nic. Mogę mieć pętlę, która zajmie 10 godzin, test porównawczy pokaże, że trwa prawie wiecznie, ale nie obchodzi mnie to, ponieważ nie jest to krytyczne z punktu widzenia wydajności. Inna pętla zajmuje tylko milisekundę, ale może być za długa, ponieważ powoduje, że nie mogę przechwycić przychodzących pakietów danych przybywających w odstępach 100 mikrosekund.

Dwie skrajności, ale obie mogą się zdarzyć (nawet w tej samej aplikacji) i nigdy nie wiadomo, chyba że wiesz, że aplikacja, jak jest używana, co robi, w jakich warunkach i wymaganiach.

Jeśli interakcja z interfejsem użytkownika trwa 1/2 sekundy, aby renderować, może być zbyt długi lub nie ma problemu, jaki jest kontekst? Jakie są oczekiwania użytkowników?

Answer 3

Caliper to narzędzie dostarczane przez Google w zakresie mikro-testów porównawczych. Dostarczy ci wykresów i wszystkiego. Ludzie, którzy umieścili to narzędzie razem, są bardzo obeznani z zasadą "Przedwczesna optymalizacja jest źródłem wszelkiego zła" (do punktu Jwntinga) i są bardzo ostrożni w wyjaśnianiu roli testu porównawczego.