wykonywania zadań równolegle pytona

Question

Używam Pythona 2.7, mam jakiś kod, który wygląda tak:

task1() 
task2() 
task3() 
dependent1() 

task4() 
task5() 
task6() 
dependent2() 

dependent3() 

Jedyne zależności tutaj są następujące: dependent1 musi czekać na tasks1-3, dependent2 potrzeb czekać na zadania 4-6, a zależne3 musi czekać na zależności1-2 ... Poniższe byłoby w porządku: uruchomienie wszystkich sześciu zadań najpierw równolegle, następnie pierwszych dwóch zależnych równolegle .. następnie ostateczna zależna

Wolę równoległe wykonywanie jak największej liczby zadań, szukałem niektórych modułów, ale miałem nadzieję uniknąć bibliotek zewnętrznych i nie wiem, w jaki sposób Technika ue-Thread może rozwiązać mój problem (może ktoś może polecić dobry zasób?)

Answer 1

Klasa wbudowana threading.Thread oferuje wszystko, czego potrzebujesz: start, aby rozpocząć nowy wątek i join, aby poczekać na koniec wątku.

import threading 

def task1(): 
    pass 
def task2(): 
    pass 
def task3(): 
    pass 
def task4(): 
    pass 
def task5(): 
    pass 
def task6(): 
    pass 

def dep1(): 
    t1 = threading.Thread(target=task1) 
    t2 = threading.Thread(target=task2) 
    t3 = threading.Thread(target=task3) 

    t1.start() 
    t2.start() 
    t3.start() 

    t1.join() 
    t2.join() 
    t3.join() 

def dep2(): 
    t4 = threading.Thread(target=task4) 
    t5 = threading.Thread(target=task5) 

    t4.start() 
    t5.start() 

    t4.join() 
    t5.join() 

def dep3(): 
    d1 = threading.Thread(target=dep1) 
    d2 = threading.Thread(target=dep2) 

    d1.start() 
    d2.start() 

    d1.join() 
    d2.join() 

d3 = threading.Thread(target=dep3) 
d3.start() 
d3.join() 

Alternatywnie do połączenia można użyć Queue.join, aby poczekać na zakończenie wątków.

Answer 2

Spójrz na Gevent.

Przykład użycia:

import gevent 
from gevent import socket 

def destination(jobs): 
    gevent.joinall(jobs, timeout=2) 
    print [job.value for job in jobs] 

def task1(): 
    return gevent.spawn(socket.gethostbyname, 'www.google.com') 

def task2(): 
    return gevent.spawn(socket.gethostbyname, 'www.example.com') 

def task3(): 
    return gevent.spawn(socket.gethostbyname, 'www.python.org') 

jobs = [] 
jobs.append(task1()) 
jobs.append(task2()) 
jobs.append(task3()) 
destination(jobs) 

Hope, to jest to, czego szukaliśmy.