Python najszybszy sposób, aby przeczytać duży plik tekstowy (kilka GB)

Question

Mam duży plik tekstowy (~ 7 GB). Szukam, czy istnieje najszybszy sposób na odczytanie dużego pliku tekstowego. Czytałem o używaniu kilku podejść jako czytanych porcji w celu przyspieszenia procesu.

na przykład effbot sugerują

# File: readline-example-3.py 

file = open("sample.txt") 

while 1: 
    lines = file.readlines(100000) 
    if not lines: 
     break 
    for line in lines: 
     pass # do something**strong text** 

w celu przetworzenia 96,900 linii tekstu na sekundę. Inne authors sugerują użycie islice()

from itertools import islice 

with open(...) as f: 
    while True: 
     next_n_lines = list(islice(f, n)) 
     if not next_n_lines: 
      break 
     # process next_n_lines 

list(islice(f, n)) zwróci listę najbliższych n linii pliku f. Korzystanie z tej wewnątrz pętli daje plik w kawałki n linii

Answer 1

with open(<FILE>) as FileObj: 
    for lines in FileObj: 
     print lines # or do some other thing with the line... 

będą czytać jedną linię w czasie do pamięci i zamknij plik po zakończeniu ...