Wybierz unikatowe lub różne wartości z listy w skrypcie powłoki UNIX

Question

Mam skrypt ksh, który zwraca długą listę wartości, oddzieloną nową linią i chcę zobaczyć tylko unikalne/różne wartości. Można to zrobić?

Załóżmy, że moje wyjście jest przyrostków pliku w katalogu:

tar 
gz 
java 
gz 
java 
tar 
class 
class 

Chcę zobaczyć listę takich jak:

tar 
gz 
java 
class 

Answer 1

może chcesz aby przejrzeć aplikacje uniq i sort.

 
./yourscript.ksh | sort | uniq 

(FYI, tak, sort jest konieczne w tym wierszu poleceń, uniq paski tylko zduplikowane linie, które są bezpośrednio po siebie)

EDIT:

Wbrew temu, co zostało opublikowane przez Aaron Digulla w odniesieniu do opcji linii poleceń uniq:

Podane dane wejściowe:

 
class 
jar 
jar 
jar 
bin 
bin 
java 

uniq wyjścia będą wszystkie linie dokładnie jeden raz:

 
class 
jar 
bin 
java 

uniq -d wyjścia będą wszystkie linie, które pojawiają się więcej niż raz, a będzie je wydrukować raz:

 
jar 
bin 

uniq -u wyjście wola wszystkich linie, które pojawiają się dokładnie jeden raz, i zostaną wydrukowane raz:

 
class 
java 

Answer 2

Przetestuj je przez sort i uniq. Spowoduje to usunięcie wszystkich duplikatów.

uniq -d podaje tylko duplikaty, uniq -u podaje tylko te unikalne (usuwa duplikaty).

Answer 3

przypadku większych zbiorów danych, gdzie sortowanie nie może być pożądane, można również użyć poniższy skrypt perla:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }' 

To w zasadzie tylko pamięta każde wyjście liniowe, tak aby nie wyprowadzać go ponownie.

Ma tę przewagę nad rozwiązaniem "sort | uniq", że nie wymaga sortowania z góry.

Answer 4

Z zsh można to zrobić:

zsh-5.0.0[t]% cat infile 
tar 
more than one word 
gz 
java 
gz 
java 
tar 
class 
class 
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}" 
tar 
more than one word 
gz 
java 
class 

Albo można użyć AWK:

zsh-4.3.9[t]% awk '!_[$0]++' infile  
tar 
more than one word 
gz 
java 
class 

Answer 5

./script.sh | sort -u 

To jest taka sama jak monoxide'sanswer, ale nieco bardziej zwięzłe.

Answer 6

Unikalne, zgodnie z życzeniem, (ale nie posortowane);
wykorzystuje mniej zasobów systemowych dla mniej niż ~ 70 elementów (zgodnie z testem z czasem);
napisany wziąć wejściowe ze standardowego wejścia,
(lub modyfikować i to w innym skrypcie):
(Bash)

bag2set() { 
    # Reduce a_bag to a_set. 
    local -i i j n=${#a_bag[@]} 
    for ((i=0; i < n; i++)); do 
     if [[ -n ${a_bag[i]} ]]; then 
      a_set[i]=${a_bag[i]} 
      a_bag[i]=$'\0' 
      for ((j=i+1; j < n; j++)); do 
       [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0' 
      done 
     fi 
    done 
} 
declare -a a_bag=() a_set=() 
stdin="$(</dev/stdin)" 
declare -i i=0 
for e in $stdin; do 
    a_bag[i]=$e 
    i=$i+1 
done 
bag2set 
echo "${a_set[@]}" 

Answer 7

Z AWK można zrobić, znaleźć go szybciej niż porządek

./yourscript.ksh | awk '!a[$0]++'