Uzyskiwanie danych wyjściowych procesu w środowisku wykonawczym

Question

Używam skryptu Pythona do uruchomienia procesu przy użyciu subprocess.Popen, a jednocześnie zapisuję dane wyjściowe w pliku tekstowym, a także wypisuję je na konsoli. To jest mój kod:

result = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE) 
for line in result.stdout.readlines(): #read and store result in log file 
    openfile.write("%s\n" %line) 
    print("%s" %line) 

Powyższy kod działa dobrze, ale co to robi to pierwszy kończy proces i przechowuje dane wyjściowe w wyniku zmiennej. Po tym dla pętli przechowuje dane wyjściowe, a także je drukuje.

Ale chcę dane wyjściowe w czasie wykonywania (ponieważ mój proces może zająć wiele godzin, nie otrzymam żadnych wyników przez wszystkie te godziny).

Czy istnieje jakaś inna funkcja, która dynamicznie generuje dane wyjściowe (w czasie wykonywania), oznacza, że ​​gdy tylko proces wyświetli pierwszą linię, powinien zostać wydrukowany.

Answer 1

Problem polega na tym, że .readlines() pobiera całe wyjście przed powrotem, ponieważ konstruuje pełną listę. Wystarczy iteracji bezpośrednio:

for line in result.stdout: 
    print line 

Answer 2

Można iteracyjne nad liniami pojedynczo za pomocą readline na rurze:

while True: 
    line = result.stdout.readline() 
    print line.strip() 
    if not line: 
     break 

Linie zawierać spływu \n które uproszczoną do druku. Po zakończeniu procesu readline zwraca pusty ciąg, dzięki czemu wiadomo, kiedy należy zatrzymać.

Answer 3

.readlines() zwraca listę wszystkie linie proces wróci natomiast otwarte, to znaczy, że nic nie jest aż otrzymał wszystkie wyjście z podproces powrotu. Aby przeczytać wiersz po wierszu w „czasie rzeczywistym”:

import sys 
from subprocess import Popen, PIPE 

proc = Popen(cmd, shell=True, bufsize=1, stdout=PIPE) 
for line in proc.stdout: 
    openfile.write(line) 
    sys.stdout.buffer.write(line) 
    sys.stdout.buffer.flush() 
proc.stdout.close() 
proc.wait() 

Uwaga: jeśli podproces używa bloku buforowanie, gdy jest uruchomiony w trybie nieinteraktywnym; możesz potrzebować pexpect, pty modules lub stdbuf, unbuffer, script commands.

Uwaga: na Pythonie 2, można również użyć iter(), aby „w czasie rzeczywistym” Wyjście:

for line in iter(proc.stdout.readline, ""): 
    openfile.write(line) 
    print line,