Systemowy muteks w Pythonie na Linuksie

Question

Czy istnieje prosty sposób na posiadanie ogólnosystemowego muteksu w Pythonie na Linuksie? Przez "systemowy" rozumiem, że muteks będzie używany przez grupę Python procesów; jest to przeciwieństwo tradycyjnego muteksu, używanego przez grupę wątków w tym samym procesie.

EDYCJA: Nie jestem pewien, czy pakiet Pythona multiprocessing jest tym, czego potrzebuję. Na przykład, można wykonać następujące czynności w dwóch różnych tłumaczy:

from multiprocessing import Lock 
L = Lock() 
L.acquire() 

Kiedy wykonać te polecenia jednocześnie w dwóch oddzielnych tłumaczy, chcę jeden z nich do powieszenia. Zamiast tego nie wisi; wydaje się, że nie nabywają tego samego muteksu.

Answer 1

"Tradycyjna" odpowiedź Unix polega na użyciu blokad plików. Możesz użyć lockf(3), aby zablokować sekcje pliku, aby inne procesy nie mogły go edytować; bardzo częstym nadużyciem jest użycie tego jako muteksu między procesami. Odpowiednikiem Pythona jest fcntl.lockf.

Tradycyjnie piszesz PID procesu blokowania do pliku blokady, tak że zakleszczenia z powodu procesów umierających podczas trzymania blokady są możliwe do zidentyfikowania i naprawienia.

To daje ci to, czego chcesz, ponieważ twoja blokada znajduje się w globalnej przestrzeni nazw (systemie plików) i jest dostępna dla wszystkich procesów. Takie podejście ma również zalety, że programy inne niż Python mogą uczestniczyć w twoim blokowaniu. Minusem jest to, że potrzebujesz miejsca na plik blokady; również niektóre systemy plików faktycznie nie blokują się poprawnie, więc istnieje ryzyko, że po cichu nie uda się uzyskać wykluczenia. Wygrywasz, tracisz.

Answer 2

Standard POSIX określa między-procesowe semafory, które mogą być używane do tego celu. http://linux.die.net/man/7/sem_overview

Moduł multiprocessing w języku Python jest zbudowany na tym interfejsie API i innych. W szczególności, multiprocessing.Lock zapewnia proces krzyżowy "mutex". http://docs.python.org/library/multiprocessing.html#synchronization-between-processes

EDIT odpowiedzieć na pytanie, pod redakcją:

W swoim dowodzie koncepcji każdy proces konstruowania Lock(). Więc masz dwa oddzielne zamki. Dlatego żaden proces nie czeka. Będziesz musiał udostępniać tę samą blokadę między procesami. Sekcja I powiązana z dokumentacją multiprocessing wyjaśnia, jak to zrobić.

Answer 3

W przypadku ogólnosystemowego muteksu, który umożliwia synchronizację całkowicie oddzielnych procesów (tj. ZAWIERA procesy Linux, które NIE należą do tego samego drzewa procesów), po prostu użyj fcntl.flock. Przypuszczam, że użycie pliku pamięci w folderze Linux/run/shm może sprawić, że będzie działać szybciej.

Zobacz więcej here.

Answer 4

Spróbuj ilock Biblioteka:

from ilock import ILock 

with ILock('Unique lock name'): 
    # The code should be run as a system-wide single instance 
    ...