łączenie wielu plików tekstowych i usuwanie duplikatów.

Question

Mam około 350 plików tekstowych (a każdy plik ma około 75 MB). Próbuję połączyć wszystkie pliki i usunąć zduplikowane wpisy. Plik znajduje się w następującym formacie:

ip1,dns1 
ip2,dns2 
... 

napisałem mały skrypt, aby zrobić to

#!/bin/bash 
for file in data/* 
do 
    cat "$file" >> dnsFull 
done 
sort dnsFull > dnsSorted 
uniq dnsSorted dnsOut 
rm dnsFull dnsSorted 

robię to często przetwarzanie i zastanawiałem się, czy jest coś mogę zrobić, aby poprawić przetwarzanie następnym razem, kiedy go uruchomię. Jestem otwarty na każdy język programowania i sugestie. Dzięki!

Answer 1

Po pierwsze, nie używasz pełnej mocy cat. Pętla może być zastąpiona przez tylko

cat data/* > dnsFull 

przy założeniu, że plik jest początkowo pusty.

Następnie są wszystkie pliki tymczasowe, które zmuszają programy do oczekiwania na dyski twarde (zwykle najwolniejsze części w nowoczesnych systemach komputerowych). Użyj rurociągu:

cat data/* | sort | uniq > dnsOut 

To wciąż rozrzutny od sort sam może robić to, co używasz cat i uniq dla; cały skrypt może być zastąpiony przez

sort -u data/* > dnsOut 

Jeśli to nadal nie jest wystarczająco szybki, to uświadomić sobie, że sortowanie zajmuje O (n lg n) czasu podczas deduplikacji można zrobić w czasie liniowym z Awk:

awk '{if (!a[$0]++) print}' data/* > dnsOut