Jak wygenerować listę unikatowych linii w pliku tekstowym za pomocą skryptu powłoki Linux?

Question

Załóżmy, że mam plik, który zawiera kilka linii, niektóre powtarzając:

line1 
line1 
line1 
line2 
line3 
line3 
line3 

Jakie polecenia Linux (ów) należy użyć do wygenerowania listy unikalnych linii:

line1 
line2 
line3 

robi to zmienić, jeśli plik nie jest sortowany, tzn. powtarzające się linie nie mogą znajdować się w blokach?

Answer 1

Jeśli nie przeszkadza wyjście sortowaniem, użyj

sort -u 

Sortuje i usuwa duplikaty

Answer 2

cat na wyjście zawartość, sprzęt do sort je uporządkować, sprzęt do uniq do druku z unikalnych wartościach:

cat test1.txt | sort | uniq

nie zrobić z domu d zrobić część sort, jeśli zawartość pliku jest już posortowana.