GNU make -j opcja

Question

Odkąd dowiedziałem się o -j, użyłem -j8 beztrosko. Któregoś dnia kompilowałem instalację atlasu, a wykonanie nie powiodło się. W końcu wyśledziłem to wszystko, co było zrobione w porządku - i wszystko poszło dobrze, kiedy wróciłem do singlethreaded. To mnie denerwuje. Jakiego rodzaju warunków muszę przestrzegać podczas pisania własnych plików make, aby uniknąć zrobienia czegoś nieoczekiwanego w make -j?

Answer 1

Myślę, że make-j będzie szanował zależności określone w pliku Makefile; tj. jeśli podasz, że objA zależy od objB i objC, make nie zacznie działać na objA do momentu zakończenia objB i objC.

Najprawdopodobniej twój plik Makefile nie określa dokładnie wymaganej kolejności operacji, a to tylko szczęście, że zadziała w twoim przypadku w przypadku pojedynczego wątku.

Answer 2

W skrócie - upewnij się, że zależności są poprawne i kompletne.

Jeśli korzystasz z gwintu pojedynczego, możesz ślepo ignorować ukryte zależności między celami. Używając równoległego, nie można polegać na niejawnych zależnościach. Wszystkie one powinny być wyraźne. Jest to prawdopodobnie najczęstsza pułapka. Zwłaszcza jeśli używasz celów .phony jako zależności.

This link jest dobrym podkładem przy niektórych problemach z równoległą marką.

Answer 3

Jeśli masz markę rekurencyjną, rzeczy mogą się łatwo złamać. Jeśli nie robisz rekursywnej marki, to dopóki twoje zależności są poprawne i kompletne, nie powinieneś napotkać żadnych problemów (z wyjątkiem błędu w make). Zobacz Recursive Make Considered Harmful, aby uzyskać bardziej szczegółowy opis problemów z rekurencyjną marką.

Answer 4

Oto przykład problemu, który napotkałem, gdy zacząłem używać równoległych kompilacji. Mam cel o nazwie "świeży", którego używam do odbudowy celu od zera ("świeża" kompilacja). W przeszłości kodowałem "świeży" cel, po prostu wskazując "czyste", a następnie "buduj" jako zależności.

build: ## builds the default target 
clean: ## removes generated files 
fresh: clean build ## works for -j1 but fails for -j2 

To działało w porządku, dopóki nie zaczął używać równolegle buduje, ale równolegle buduje, próbuje zrobić zarówno „czyste” i „budować” jednocześnie. Zmieniłem definicję "świeżej" w następujący sposób, aby zagwarantować prawidłową kolejność operacji.

fresh: 
    $(MAKE) clean 
    $(MAKE) build 

Jest to zasadniczo kwestia prawidłowego określenia zależności. Sztuczka polega na tym, że równoległe kompilacje są w tym przypadku bardziej restrykcyjne niż kompilacje jednowątkowe. Mój przykład pokazuje, że lista zależności dla danego celu nie musi oznaczać kolejności wykonania.

Answer 5

Dobrze jest mieć zautomatyzowany test, aby przetestować opcję -j WSZYSTKICH plików make. Nawet najlepsi programiści mają problemy z opcją -j make. Najczęstsze problemy są najprostsze.

myrule: subrule1 subrule2 
    echo done 

subrule1: 
    echo hello 

subrule2: 
    echo world 

W zwykłej wersji zobaczysz cześć -> świat -> zrobione. Z make -j 4 możesz zobaczyć świat -> cześć -> zrobione

Tam, gdzie to widzę, większość to tworzenie katalogów wyjściowych.Na przykład:

build: $(DIRS) $(OBJECTS) 
    echo done 

$(DIRS): 
    -@mkdir -p $@ 

$(OBJECTS): 
    $(CC) ... 

Answer 6

Pomyślałem, że dodaję odpowiedź do podsekcji, ponieważ nie pokazuje ona wyraźnie efektu. Dodaje się jednak kilka poleceń dotyczących trybu uśpienia. Działa na Linuksie.

następnie uruchomić make pokazuje różnice z:

• zrobić
• zrobić -j4

---

all: toprule1 

toprule1: botrule2 subrule1 subrule2 
    @echo toprule 1 start 
    @sleep 0.01 
    @echo toprule 1 done 

subrule1: botrule1 
    @echo subrule 1 start 
    @sleep 0.08 
    @echo subrule 1 done 

subrule2: botrule1 
    @echo subrule 2 start 
    @sleep 0.05 
    @echo subrule 2 done 

botrule1: 
    @echo botrule 1 start 
    @sleep 0.20 
    @echo "botrule 1 done (good prerequiste in sub)" 

botrule2: 
    @echo "botrule 2 start" 
    @sleep 0.30 
    @echo "botrule 2 done (bad prerequiste in top)"