Kiedy Popen.communicate() to za mało?

Question

Znalazłem wiele wątków mniej lub bardziej związanych z tym tematem i nadal prawie nic jak pełna odpowiedź ... Szukam twojej porady na ten temat.

Oto mój problem: naprawdę muszę komunikować się z podprocesorem w obie strony: muszę wprowadzić wiele danych do ich danych wejściowych i uzyskać ich wyniki w locie. Nie da się tego obejść. Mój podproces to słynny "lame" koder mp3, wejście to godzina lub więcej długich dźwięków PCM generowanych przez moją funkcję, a wyjście to plik mp3, który również musi zostać przesłany do kawałka użytkownika przez porcję bez czekania na zakończenie kodera.

Według dokumentów Popen.communicate() nie pomoże mi obsłużyć IPC mierzonego w dziesiątkach lub setkach megabajtów. W tym samym czasie, jak się dowiedziałem, jest bardzo niebezpieczne, aby spróbować stworzyć to podejście od zera, ponieważ czekają na nas wiele pułapek: zakleszczenia, buforowanie, zarządzanie procesami itp.

Moje pytanie brzmi: czy jest jakieś dobrze znane rozwiązanie tego rodzaju problemu: lib Pythona lub przykład kodu, który naprawdę rozwiązuje problem? Być może jest przynajmniej artykuł lub coś, co jasno opisuje większość problemów, które można napotkać, próbując rozwiązać to samodzielnie?

Z góry dziękuję, Ilya.

Answer 1

Najprostszym sposobem jest podzielenie własnego programu na dwie części: jedną, która pisze do LAME, a druga czyta z lame i pisze do użytkownika. Jest to znacznie łatwiejsze niż komunikacja dwukierunkowa.

Jeśli to nie działa, odkryłem, że programowanie z użyciem nazwanych rur jest łatwiejsze niż tradycyjne IPC rur. Podczas testowania łatwo jest zastosować różnego rodzaju instalacje hydrauliczne. Nonblocking I/O in Python 3 powinien ułatwić dostęp do nich.