Implementacja `make check` lub` make test`

Question

Jak mogę zaimplementować proste ramy testowe regresji za pomocą Make? (Używam GNU make, jeśli to ma znaczenie).

Mój obecny makefile wygląda mniej więcej tak (wydanej dla uproszczenia):

OBJS = jscheme.o utility.o model.o read.o eval.o print.o 

%.o : %.c jscheme.h 
    gcc -c -o $@ $< 

jscheme : $(OBJS) 
    gcc -o $@ $(OBJS) 

.PHONY : clean 

clean : 
    -rm -f jscheme $(OBJS) 

chciałbym mieć zestaw testów regresji, na przykład, expr.in testowania „dobre” wyraz & unrecognized.in Testowanie „zły” jeden z expr.cmp & unrecognized.cmp jest oczekiwany wynik dla każdego. Testy instrukcja będzie wyglądać następująco:

$ jscheme <expr.in> expr.out 2>&1 
$ jscheme <unrecognized.in> unrecognized.out 2>&1 
$ diff -q expr.out expr.cmp # identical 
$ diff -q unrecognized.out unrecognized.cmp 
Files unrecognized.out and unrecognized.cmp differ 

myślałem, aby dodać zestaw reguł do makefile szuka coś takiego:

TESTS = expr.test unrecognized.test 

.PHONY test $(TESTS) 

test : $(TESTS) 

%.test : jscheme %.in %.cmp 
    jscheme <[something.in]> [something.out] 2>&1 
    diff -q [something.out] [something.cmp] 

Moje pytania:
• Co mogę umieścić w [ coś] placeholders?
• Czy istnieje sposób na zastąpienie wiadomości od diff z komunikatem "Test expr nie powiodło się"?

Answer 1

Twoje oryginalne podejście, jak określono w pytaniu, jest najlepsze. Każdy z twoich testów ma formę oczekiwanych wejść i wyjść. Make jest całkiem zdolny do iteracji i przeprowadzania testów; nie ma potrzeby korzystania z pętli powłoki for. W rzeczywistości, tracąc możliwość równoległego uruchamiania testów, tworzysz dodatkową pracę dla siebie, aby posprzątać pliki tymczasowe (które nie są potrzebne).

Oto rozwiązanie (stosując bc jako przykład):

SHELL := /bin/bash 

all-tests := $(addsuffix .test, $(basename $(wildcard *.test-in))) 

.PHONY : test all %.test 

BC := /usr/bin/bc 

test : $(all-tests) 

%.test : %.test-in %.test-cmp $(BC) 
    @$(BC) <$< 2>&1 | diff -q $(word 2, $?) - >/dev/null || \ 
    (echo "Test $@ failed" && exit 1) 

all : test 
    @echo "Success, all tests passed." 

Rozwiązanie bezpośrednio kieruje swoje oryginalne pytania:

• Symbole zastępcze których szukasz są $< i $(word 2, $?) odpowiednie do wymagania wstępne: odpowiednio: %.test-in i %.test-cmp. W przeciwieństwie do plików tymczasowych komentarzy @reinierpost nie są potrzebne.
• Wiadomość różnicowa jest ukryta i zastąpiona przy użyciu echo.
• Plik makefile należy wywołać za pomocą make -k, aby uruchomić wszystkie testy, niezależnie od tego, czy pojedynczy test zakończy się niepowodzeniem, czy się uda.
• make -k all będzie działać, tylko jeśli wszystkie testy zakończą się pomyślnie.

Unikamy wyliczanie każdy test ręcznie przy definiowaniu zmiennej all-tests wykorzystując konwencję nazewnictwa plików (*.test-in) i GNU make functions for file names. Jako bonus oznacza to, że rozwiązanie skaluje się do dziesiątek tysięcy testów po wyjęciu z pudełka, ponieważ długość zmiennych to unlimited w GNU make. Jest to lepsze rozwiązanie, niż rozwiązanie oparte na powłoce, które zostanie upuszczone po uruchomieniu systemu operacyjnego command line limit.

Answer 2

Wykonaj skrypt testowy biegacz, która przyjmuje nazwę testu i wywodzi nazwę pliku wejściowego, wyjściowego pliku i dane smaple od tego:

#!/bin/bash 
set -e 
jscheme < $1.in > $1.out 2>&1 
diff -q $1.out $1.cmp 

Następnie w Makefile:

TESTS := expr unrecognised 

.PHONY: test 
test: 
    for test in $(TESTS); do bash test-runner.sh $$test || exit 1; done 

Mogłabyś spróbuj też wykonać coś takiego, jak automake 's simple test framework.

Answer 3

Podam tylko twoje pytanie dotyczące diff. Możesz zrobić:

 
diff file1 file2 > /dev/null || echo Test blah blah failed >&2 

chociaż możesz chcieć użyć cmp zamiast diff.

Inna sprawa może okazać się pomocna, aby wykonać krok po kroku i zająć się automake. Twój Makefile.am (w całości) będzie wyglądać następująco:

 
bin_PROGRAMS = jscheme 
jscheme_SOURCES = jscheme.c utility.c model.c read.c eval.c print.c jscheme.h 
TESTS = test-script 

a dostaniesz mnóstwo naprawdę ładne celów za darmo, w tym całkiem pełni funkcjonalny ramach testu.

Answer 4

Co skończyło się wygląda następująco:

TESTS = whitespace list boolean character \ 
    literal fixnum string symbol quote 

.PHONY: clean test 

test: $(JSCHEME) 
    for t in $(TESTS); do \ 
     $(JSCHEME) < test/$$t.ss > test/$$t.out 2>&1; \ 
     diff test/$$t.out test/$$t.cmp > /dev/null || \ 
      echo Test $$t failed >&2; \ 
    done 

Jest on oparty na idei Jack Kelly, z końcówka Jonathana Lefflera włączone.