Jak uruchomić wiele zadań z dużej kolejki w tym samym czasie w Perlu?

Question

Chciałbym zaprogramować ograniczenia zadań dla LSF commandbsub do mojego skryptu Perla, który uruchamia zadania LSF pod maską. Jeśli mam coś takiego jak 2000 miejsc pracy, chciałbym uruchomić w większości 20 zadań w dowolnym momencie. Widziałem skrypty, które uruchamiały 20 zadań, a następnie czekały, aż wszystkie się skończą przed uruchomieniem kolejnego.

Answer 1

Kilka istniejących modułów Perla, w tym Parallel::ForkManager i Forks::Super (których jestem autorem) oferuje tę funkcjonalność.

Istnieje również moduł LSF::JobManager, o którym nie wiem nic więcej.

---

Parallel :: ForkManager szkielet

use Parallel::ForkManager; 
$pm = new Parallel::ForkManager(20); 
foreach $job (@jobsToRun) { 
    $pm->start and next; 
    system("bsub -K $job"); # bsub -K job to wait until job finishes, right? 
    $pm->finish; 
} 

---

I w Forks :: Super

use Forks::Super MAX_PROC => 20; 
foreach $job (@jobsToRun) { 
    fork { cmd => "bsub -K $job" }; 
} 

---