Lazyly filtrowanie pliku przed odczytaniem

Question

Załóżmy, że mam plik BIG z kilkoma liniami, które chcę zignorować, oraz funkcję (file_function), która pobiera obiekt pliku. Czy mogę zwrócić nowy obiekt pliku, którego linie spełniają pewien warunek bez czytania całego pliku najpierw, to lenistwo jest ważną częścią.

Uwaga: Mogę zapisać plik tymczasowy z pominięciem tych linii, ale nie jest to idealne rozwiązanie.

Na przykład, załóżmy, że miałem pliku csv (ze złej linii):

1,2 
ooops 
3,4 

Pierwszą próbą było stworzenie nowego obiektu pliku (z tymi samymi metodami jak w pliku) i nadpisania readline:

class FileWithoutCondition(file): 
    def __init__(self, f, condition): 
     self.f = f 
     self.condition = condition 
    def readline(self): 
     while True: 
      x = self.f.readline() 
      if self.condition(x): 
       return x 

Działa, jeśli file_name używa tylko readline ... ale nie, jeśli wymaga innej funkcjonalności.

with ('file_name', 'r') as f: 
    f1 = FileWithoutOoops(f, lambda x: x != 'ooops\n') 
    result = file_function(f1) 

Roztwór stosując StringIO mogą działać, ale nie wydaje się uzyskać go.

Idealnie powinniśmy założyć, że file_function jest funkcją blackbox, w szczególności nie mogę po prostu zmienić jej ustawień, aby zaakceptować generator (ale może uda mi się zmodyfikować generator tak, aby był podobny do pliku?).
Czy istnieje standardowy sposób wykonywania tego rodzaju leniwego (skim-) odczytu ogólnego pliku?

Uwaga: motywowanie przykładem na to pytanie jest this pandas question, gdzie tylko o readline nie wystarczy, aby dostać pracę pd.read_csv ...

Answer 1

Użyj map-zmniejszenie podejście z istniejących obiektów Pythona. W tym przykładzie używam wyrażenia regularnego dla dopasowania linii, które zaczynają się od ciągu GET /index, ale można używać niezależnie od stanu pasuje do Twojego Bill:

import re 
from collections import defaultdict 

pattern = re.compile(r'GET /index\(.*\).html') 

# define FILE appropriately. 
# map 
# the condition here serves to filter lines that can not match. 
matches = (pattern.search(line) for line in file(FILE, "rb") if 'GET' in line) 
mapp = (match.group(1) for match in matches if match) 

# now reduce, lazy: 
count = defaultdict(int) 
for request in mapp: 
    count[request] += 1 

ten skanuje> plik 6GB w ciągu kilku sekund na moim laptopie . Możesz dalej dzielić plik w porcje i podawać je do wątków lub procesów. Używanie mmap Nie polecam, chyba że masz pamięć do mapowania całego pliku (nie obsługuje okienkowania).