Python wielu wątków uzyskujących dostęp do tego samego pliku

Question

Mam dwa wątki, jeden zapisujący do pliku, a drugi, który okresowo przenosi plik do innej lokalizacji. Napisy zawsze wywołują open przed napisaniem wiadomości i wywołują close po napisaniu wiadomości. Ruchomy używa shutil.move, aby wykonać ruch.

Widzę, że po wykonaniu pierwszego ruchu scenarzysta nie może już pisać do pliku, tzn. Rozmiar pliku zawsze wynosi 0 po pierwszym ruchu. czy robię coś źle?

Answer 1

Blokowanie jest możliwym rozwiązaniem, ale preferuję ogólną architekturę obsługi każdego zewnętrznego zasobu (w tym pliku) pojedynczym, osobnym wątkiem. Inne wątki wysyłają żądania pracy do dedykowanego wątku na instancję Queue.Queue (i dostarczają osobną kolejkę jako część parametrów żądania pracy, jeśli potrzebują wyniku), dedykowany wątek spędza większość czasu czekając na .get na tym kolejka, a gdy tylko otrzyma żądanie, uruchamia się i wykonuje je (i jeśli to konieczne, zwraca wyniki w kolejce przekazanej).

Podałem szczegółowe przykłady tego podejścia, np. w "Python in a Nutshell". Kolejka Pythona jest wewnętrznie bezpieczna dla wątków i ogromnie upraszcza Twoje życie.

Zaletą tej architektury jest to, że przekłada się ona płynnie na multiprocessing, jeśli i kiedy zdecydujesz się na zamianę pracy na oddzielny proces zamiast na osobny wątek (np. W celu wykorzystania wielu rdzeni) - multiprocessing zapewnia własną workalike Queue wpisz, aby takie przejście gładkie jak jedwab ;-).

Answer 2

Kiedy dwa wątki mają dostęp do tych samych zasobów, zdarzają się dziwne rzeczy. Aby tego uniknąć, zawsze blokuj zasób. Python ma do tego wygodny threading.Lock, a także kilka innych narzędzi (patrz dokumentacja modułu threading).

Answer 3

Wyjazd http://www.evanfosmark.com/2009/01/cross-platform-file-locking-support-in-python/

Można użyć prostego zamka z jego kodem, jak napisane przez Evan Fosmark w starszym StackOverflow pytanie:

from filelock import FileLock 

with FileLock("myfile.txt"): 
    # work with the file as it is now locked 
    print("Lock acquired.") 

jeden z bardziej eleganckich bibliotek jakie kiedykolwiek widziałem .