diff dwa duże pliki w Pythonie

Question

Mam dwa duże pliki tekstowe, około 2 GB każdy. Potrzebuję czegoś takiego jak diff f1.txt f2.txt. Czy istnieje sposób na szybkie wykonanie tego zadania w pythonie? Standard difflib jest zbyt wolny. Zakładam, że jest szybszy sposób, ponieważ difflib jest w pełni zaimplementowany w Pythonie.

Answer 1

Co powiesz na używanie difflib w taki sposób, że skrypt może obsłużyć duże pliki? Nie ładuj plików do pamięci, ale przeglądaj pliki plików i zmieniaj porcje. Na przykład 100 linii na raz.

import difflib 

d = difflib.Differ() 

f1 = open('bigfile1') 
f2 = open('bigfile2') 

b1 = [] 
b2 = [] 

for n, lines in enumerate(zip(f1,f2)): 
    if not (n % 100 == 0): 
     b1.append(lines[0]) 
     b2.append(lines[1]) 
    else: 
     diff = d.compare("".join(b1), "".join(b2)) 
     b1 = [] 
     b2 = [] 
     print ''.join(list(diff)) 

diff = d.compare("".join(b1), "".join(b2)) 
print ''.join(list(diff)) 
f1.close() 
f2.close()