Mam zestaw testów jednostek mocha.Testy jednostkowe czasami zawodzą, czasami mijając
Po uruchomieniu ich lokalnie wszystko działa poprawnie. Kiedy uruchomię je na naszym serwerze CI Jenkins, czasami zawodzą, czasami mijają.
Po prostu nie mogę odtworzyć przyczyny niepowodzenia. Co może powodować takie zachowanie?
Chciałbym geuss używać ponownie testowania dla wielu testów. W niektórych przypadkach kolejność testów zmienia się z zamówienia na lokalnej maszynie i nie masz poprawnego urządzenia po rozpoczęciu testu. Aby to naprawić, powinieneś dać każdemu testowi czyste urządzenie.
Inną przyczyną może być ponowne użycie bazy danych z wielu lokalizacji podczas testów runnen (dwa kompilacje serwerów o tej samej konfiguracji testowej). Daj każdemu serwerowi kompilacji własną bazę danych. Lub podkasuj warstwę bazy danych. Test nie powinien zależeć od zasobów zewnętrznych, z wyjątkiem sytuacji, gdy testujesz połączenia z zasobami zewnętrznymi.
Niestety, nie. Cała baza danych jest czyszczona przy każdym uruchomieniu testu. Używam mocha do przeprowadzania testów, więc są one uruchamiane w seriach. Baza danych jest zainstalowana lokalnie na tym komputerze, więc nie powinno to powodować, że inne usługi będą z niej korzystać. –
Testy mogą nie działać sporadycznie z wielu powodów, a identyfikacja przyczyn niepowodzenia często ujawnia kod i środowisko.
Oto kilka możliwych przyczyn:
• Wspólna obiektów - pojedynczych, które utrzymują stan może powodować problemy między testami czy środowisko testowe nie jest resetowany do znanego stanu. czy jeśli testy biegacz wykonuje testy w niedeterministycznym Aby można zobaczyć przypadkowe błędy, które są rzeczywiście wystawienie uszkodzone kwestie państwowe
• zależnościach środowiska i zewnętrznych - żadnego zewnętrznego obiektu, który może pomieścić stan może spowodować nieprzewidywalne rezultaty
• Czas - czasami testy są zapisywane z limitami czasu lub zbyt szybkimi przerwami wątków. Jeśli serwer build pracuje pod dużym obciążeniem te limity czasu może nie być wystarczająco
jako ogólne wytyczne długo, testy muszą być:
chciałbym spróbować zawęzić problem poprzez zmniejszenie liczby wykonanie dane do 1. Jeśli testy nadal nie działają sporadycznie, masz Test Run War, w przeciwnym razie (biorąc pod uwagę, że działają dobrze lokalnie) wygląda to jak Resource Leakage.
Więcej informacji na http://xunitpatterns.com/Erratic%20Test.html
To może się zdarzyć, jeśli testowanie kodu wielowątkowe i używać Thread.sleep(time); w swoich badaniach. Jeśli czas uśpienia nie jest wystarczająco długi, testy mogą przejść lub zakończyć się niepowodzeniem w zależności od szybkości przetwarzania komputera.Powiązane dyskusje:
oczekiwane pliki są tymczasowo zamknięte? uruchamianie w wydania z testami wielowątkowymi na silnym CI, które nie występują na komputerach deweloperów? tymczasowe błędy sieciowe blokujące rzeczy? istnieje wiele rzeczy, które mogą powodować trudne do sprawdzenia niepowodzenia testów jednostkowych ... to wszystko jest częścią rozwiązywania problemów. czy to są te same testy, które okazują się problematyczne? – TZHX