Python Multiprocessing Lib Error (AttributeError: __exit__)

Question

otrzymuję ten błąd przy użyciu pool.map(funct, iterable):

AttributeError: __exit__ 

bez wyjaśnienia, tylko ślad stosu do pliku pool.py wewnątrz modułu.

korzystając w ten sposób:

with Pool(processes=2) as pool: 
    pool.map(myFunction, mylist) 
    pool.map(myfunction2, mylist2) 

Podejrzewam, że może być problem z picklability (python do pickle potrzeby lub przekształcić dane listy do strumienia bajtów) ale nie jestem pewien, czy to prawda lub jeśli jest to jak debugować.

EDIT: nowy format kodu, który produkuje ten błąd:

def governingFunct(list): 
    #some tasks 
    def myFunction(): 
     # function contents 
    with closing(Pool(processes=2)) as pool: 
     pool.map(myFunction, sublist) 
     pool.map(myFunction2, sublist2) 

ERROR PRODUKCJA:

PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed 

Answer 1

w Pythonie 2.x oraz 3.0, 3.1 i 3.2, multiprocessing.Pool() obiekty są nie menedżerowie kontekst. Nie można ich używać w oświadczeniu with. Tylko w Pythonie 3.3 lub nowszym możesz ich używać jako takich. Od Python 3 multiprocessing.Pool() documentation:

New in version 3.3: Pool objects now support the context management protocol – see Context Manager Types. __enter__() returns the pool object, and __exit__() calls terminate().

We wcześniejszych wersjach Pythona, można użyć contextlib.closing(), ale brać pod uwagę to zadzwoni pool.close(), nie pool.terminate(). Terminate ręcznie w tym przypadku:

from contextlib import closing 

with closing(Pool(processes=2)) as pool: 
    pool.map(myFunction, mylist) 
    pool.map(myfunction2, mylist2) 
    pool.terminate() 

lub stworzyć swój własny menedżer terminating() kontekstowego:

from contextlib import contextmanager 

@contextmanager 
def terminating(thing): 
    try: 
     yield thing 
    finally: 
     thing.terminate() 

with terminating(Pool(processes=2)) as pool: 
    pool.map(myFunction, mylist) 
    pool.map(myfunction2, mylist2) 

Answer 2

with stwierdzenie jest dla obiektów, które mają __enter__ i __exit__ funkcje, tj Context Manager Types
multiprocessing.Pool jest nie jest to typ Menedżera kontekstu. spróbuj wykonać następujące czynności:

pool = Pool(processes=2) 
pool.map(myFunction, mylist) 
pool.map(myfunction2, mylist2)