Jak uruchomić daną funkcję w Bash równolegle?

Question

Było kilka podobnych pytań, ale moim problemem nie jest "uruchamianie kilku programów równolegle" - co można w prosty sposób wykonać przy pomocy parallel lub xargs.

Potrzebuję zrównoleglić funkcje Bash.

Wyobraźmy sobie kod tak:

for i in "${list[@]}" 
do 
    for j in "${other[@]}" 
    do 
    # some processing in here - 20-30 lines of almost pure bash 
    done 
done 

Niektóre przetwarzania wymaga połączenia do zewnętrznych programów.

Chciałbym uruchomić niektóre (4-10) zadań, każdy działa dla różnych $i. Łączna liczba elementów na liście $ wynosi> 500.

Wiem, że mogę umieścić całą pętlę for j ... done w zewnętrznym skrypcie i po prostu wywołać ten program równolegle, ale czy można to zrobić bez podziału funkcji między dwa oddzielne programy ?

Answer 1

Edytuj: Proszę rozważyć Ole's answer zamiast tego.

Zamiast osobnego skryptu, możesz umieścić swój kod w oddzielnej funkcji bash. można następnie wyeksportować go i uruchom go poprzez xargs:

#!/bin/bash 
dowork() { 
    sleep $((RANDOM % 10 + 1)) 
    echo "Processing i=$1, j=$2" 
} 
export -f dowork 

for i in "${list[@]}" 
do 
    for j in "${other[@]}" 
    do 
     printf "%s\0%s\0" "$i" "$j" 
    done 
done | xargs -0 -n 2 -P 4 bash -c 'dowork "$@"' -- 

Answer 2

sem jest częścią GNU Parallel i jest dla tego rodzaju sytuacji.

for i in "${list[@]}" 
do 
    for j in "${other[@]}" 
    do 
     # some processing in here - 20-30 lines of almost pure bash 
     sem -j 4 dolong task 
    done 
done 

Jeśli lubisz funkcja lepiej GNU Równolegle można zrobić podwójnej pętli w jednym zamachem:

dowork() { 
    echo "Starting i=$1, j=$2" 
    sleep 5 
    echo "Done i=$1, j=$2" 
} 
export -f dowork 

parallel dowork ::: "${list[@]}" ::: "${other[@]}" 

Answer 3

rozwiązanie, aby uruchomić multi-wiersz poleceń równolegle:

for i in "${list[@]}" 
do 
    for j in "${other[@]}" 
    do 
     test "$(jobs | wc -l)" -ge 8 && wait -n || true 
     (
      your 
      multi-line 
      commands 
      here 
     ) & 
    done 
done 

Jeśli istnieje już 8 zadań bash, wait będzie czekać na ukończenie co najmniej jednego zadania. Jeśli/kiedy jest mniej zadań, uruchamia nowe asynchronicznie.

Korzyści z takiego podejścia:

1. To bardzo proste do poleceń multi-line. Wszystkie zmienne są automatycznie "przechwytywane" w zakresie, nie trzeba przekazywać ich jako argumentów.
2. Jest względnie szybki. Porównaj to, na przykład, z równoległym (podaję oficjalny man):

   równolegle jest wolny przy uruchamianiu - około 250 ms za pierwszym razem i 150 ms po tym.

3. Tylko do pracy potrzebuje bash.

Wady:

1. Istnieje możliwość, że było 8 miejsc pracy, kiedy je policzyć, ale mniej, kiedy zaczęliśmy czekać. (Dzieje się tak, jeśli zadania kończą się w ciągu milisekund między tymi dwoma poleceniami). Dzięki temu możemy wykonać mniej zadań niż jest to wymagane.Jednak zostanie wznowione po zakończeniu co najmniej jednego zadania lub natychmiast po uruchomieniu 0 zadań (w tym przypadku natychmiast wychodzi z tego wait -n).
2. Bardzo mało prawdopodobne, ale jeśli użyjesz kontroli basha (&) do innych celów w tej samej pętli, rzeczy mogą działać niezgodnie z oczekiwaniami.