Jak mogę uruchomić listę poleceń równolegle?

Question

Mam plik zawierający wiersze polecenia, które chcę uruchomić. Ten plik zawiera około 2000 linii.

Mam 8 rdzeni dostępnych. Czy jest możliwe przeanalizowanie pliku i uruchomienie 8 procesów, a następnie wykonanie kolejnego z pliku po zakończeniu jednego z programów? Chcę to kontynuować do końca pliku.

Answer 1

Możesz użyć xargs do odczytu w pliku, ograniczając maksymalną liczbę procesów do liczby dostępnych rdzeni. Na przykład:

cores=$(fgrep -c processor /proc/cpuinfo) 
xargs --arg-file=/tmp/foo \ 
     --max-procs=$cores \ 
     --replace \ 
     --verbose \ 
     /bin/sh -c "{}" 

Answer 2

Możesz rozpocząć nowe procesy w tle, po prostu wykonując polecenie z &. Istnieje przykład: here opisujący rozwiązanie twojego problemu.

Answer 3

Użyj GNU parallel. To niezwykle potężne narzędzie, a oficjalne pakiety istnieją dla około 20 takich dystrybucji Linuksa. Co to jest? You have an excuse as to why you can't use it? Oto prosty przykład pokazujący jak uruchomić listę lub plik poleceń równolegle:

zawartość jobs.txt:

sleep 1; echo "a" 
sleep 3; echo "b" 
sleep 2; echo "c" 

polecenie:

time parallel :::: jobs.txt 

wyniki:

a 
c 
b 

real 0m3.332s 
user 0m0.170s 
sys  0m0.037s 

---

Notatki:

Jeśli chcesz zachować porządek taki sam jak wejście, przekaż flagę -k na GNU równoległe.

Jeśli masz więcej niż osiem rdzeni i chcesz przetwarzać tylko osiem rdzeni, dodaj -j 8 do listy argumentów.

man page to dobra lektura, ale jeśli jeszcze nie przeczytałeś this tutorial, gorąco poleciłbym inwestycję czasową.