W jaki sposób organizujesz/układasz swoje skrypty testowe?

Question

Jestem zainteresowany tym, jak inni organizują swoje skrypty testowe lub czy widzieli dobre skrypty testowe zorganizowane gdziekolwiek pracowali. Ponadto, poziom szczegółowości w tych skryptach testowych. Dotyczy to w szczególności skryptów testowych stworzonych do testowania ręcznego, w przeciwieństwie do testów stworzonych do testów automatycznych.

Problem, jaki widzę, polega na tym, że skryptów testowych cechuje duża złożoność, ale bez korzyści wynikających z organizacji złożonej lub dużej bazy kodu. Musisz umieć określić, co powinien zrobić fragment kodu, ale nie nudząc nikogo na śmierć podczas jego czytania.

Co więcej, skrypty testowania układów nie są mi potrzebne do tworzenia w pełni określonych skryptów odpowiednich do uruchamiania przez typy wprowadzania danych, ponieważ to nie jest zespół, który mamy, a obciążenie związane z ich utrzymaniem wydaje się zbyt wysokie. Poza tym wydaje mi się, że szczegółowe określenie procesu eliminuje odpowiedzialność osoby faktycznie wykonującej test w zakresie jakości produktu. Czy użytkownicy określają każde kliknięcie przycisku i wartość do wprowadzenia? Jeśli nie, to jaki poziom szczegółowości jest określony.

Answer 1

Testy wykonywane przez ludzi powinny być na bardzo wysokim poziomie abstrakcji.

E.g. precedensowe znaczenie dla rejestracji stackoverflow:

Dobre: ​​

gość witryny z istniejącymi OpenId rejestrów uwagę jako stackoverflow użytkownikiem i stanowisk odpowiedź.

Źle:

1) Przejdź do http://stackoverflow.com 2) Kliknij na odnośnik logowania 3) itd ...

Jest to ważne z kilku powodów:

a) utrzymuje testy w dobrym stanie. Dzięki temu nie trzeba aktualizować skryptu testowego za każdym razem, gdy elementy nawigacyjne są ponownie oznaczane (np. "Login" zmienia się na "logowanie").

b) to oszczędza twoich testerów od odchodzenia od szaleństwa drobnych szczegółów.

c) pisanie szczegółowych skryptów testowych ręcznych jest słabym wykorzystaniem ograniczonych zasobów testowych.
Szczegółowe ręczne skrypty testowe przekierują Twoich testerów do pisania błędów w przypadku drobnych problemów z dokumentacją. Chcesz wykorzystać swój czas na znalezienie prawdziwych błędów, które będą miały wpływ na klientów.

Answer 2

Próbuję dopasować testy manualne do zautomatyzowanej struktury - możesz mieć oba.

Schematy organizacji używane w testach automatycznych (np. Frameworki xUnit) działają pod numerem . W rzeczywistości można je wykorzystać do pół-automatyzacji testów, zatrzymując i wzywając do ręcznego przeprowadzenia testu, wprowadzenia danych do wprowadzenia lub do sprawdzenia GUI. Schemat zazwyczaj odzwierciedla strukturę katalogów kodu produkcyjnego lub zawiera testy wewnątrz kodu produkcyjnego, czasami jako klasy wewnętrzne. Testy powyżej poziomu jednostki często można dopasować do katalogów wyższego poziomu (zakładając, że masz wystarczająco głębokie drzewo katalogów). Te testy na wyższym poziomie mogą wchodzić w (lustrzane) katalogi, które nie mają kodu produkcyjnego, ale są dostępne dla celów organizacyjnych.

Poziom szczegółowości --- cóż, to zależy, prawda?

Answer 3

Testy można pogrupować według priorytetu. Testy BVT/dymne mogą mieć najwyższy priorytet z funkcjami, integracją, regresją, lokalizacją, stresem i wydajnością o niższych priorytetach. W zależności od przepustki testowej wybierz priorytet i uruchom wszystkie testy z tymi lub wyższymi priorytetami. Wszystko, co musisz zrobić, to określić, jaki priorytet ma dany test.

Answer 4

Matt Andresen dostarczył dobrej odpowiedzi, w ogólnym przypadku, ale są sytuacje, kiedy nie można tego zrobić w ten sposób. Na przykład, gdy pracujesz nad zatwierdzonymi aplikacjami, musi to być zgodne z regulacjami z innych stron, takich jak FDA, i przechodzi przez bardzo intensywny audyt, recenzję, podpis, niż 2 odpowiedzi z formularza jest wymagane. Chociaż w tym przypadku postanowiłbym przejść na automatyzację za pomocą HP QuickTestPro lub IBM RationaRobot.

Może powinieneś spróbować z jakimś repozytorium testów? Istnieją znowu narzędzia z HP QualityCenter i produktów IBM, ale może to być kosztowne. Można znaleźć tańsze, które pozwolą Ci uporządkować je w struktury drzew według wymagań/funkcji, przypisać im priorytety, pogrupować je w zestawy testowe do wydania, pogrupować je w kostiumy do testowania regresji itd ...