Jak wybrać losowe unikalne linie z pliku tekstowego w powłoce?

Question

Mam plik tekstowy z nieznaną liczbą wierszy. Muszę pobrać losowo niektóre z tych linii, ale nie chcę żadnego ryzyka powtórzeń.

Próbowałem to:

jot -r 3 1 `wc -l<input.txt` | while read n; do 
    awk -v n=$n 'NR==n' input.txt 
done 

Ale to jest brzydkie i nie chronią przed powtórzeniami.

Próbowałem też tak:

awk -vmax=3 'rand() > 0.5 {print;count++} count>max {exit}' input.txt 

Ale to oczywiście nie jest to najlepsze rozwiązanie albo, jak ja nie gwarantuje nawet dostać max linie.

utknąłem. Jak mam to zrobic?

Answer 1

Jeśli jot jest w systemie, wtedy myślę używasz FreeBSD lub OSX zamiast Linux, więc prawdopodobnie nie mają narzędzi, takich jak rl lub sort -R dostępne.

Bez obaw. Musiałem to zrobić jakiś czas temu. Spróbuj zamiast tego:

[ghoti@pc ~]$ cat rndlines 
#!/bin/sh 

# default to 3 lines of output 
lines="${1:-3}" 

# First, put a random number at the begginning of each line. 
while read line; do 
    echo "`jot -r 1 1 1000000` $line" 
done <input.txt> stage1.txt 

# Next, sort by the random number. 
sort -n stage1.txt > stage2.txt 

# Last, remove the number from the start of each line. 
sed -r 's/^[0-9]+ //' stage2.txt > stage3.txt 

# Show our output 
head -n "$lines" stage3.txt 

# Clean up 
rm stage1.txt stage2.txt stage3.txt 

[ghoti@pc ~]$ ./rndlines input.txt 
two 
one 
five 
[ghoti@pc ~]$ ./rndlines input.txt 
four 
two 
three 
[ghoti@pc ~]$ 

Mój input.txt ma pięć linii o nazwanych numerach.

Wypisałem to dla łatwiejszego czytania, ale w rzeczywistości można łączyć rzeczy w długie rury, a będziesz chciał wyczyścić dowolne (jednoznacznie nazwane) pliki tymczasowe, które możesz utworzyć.

Oto przykład 1-linia, która także wstawia liczbę losową trochę bardziej czysto używając awk:

$ printf 'one\ntwo\nthree\nfour\nfive\n' | awk 'BEGIN{srand()} {printf("%.20f %s\n", rand(), $0)}' | sort | head -n 3 | cut -d\ -f2- 

Należy pamiętać, że starsze wersje sed (w FreeBSD i OSX) może wymagać opcję -E zamiast -r do obsługi ERE zamiast lub dialektu BRE w wyrażeniu regularnym. (Oczywiście, możesz wyrazić to w BRE, ale dlaczego?) (Starożytne wersje sed (HP/UX, itp.) Mogą wymagać BRE, ale używałbyś ich tylko, gdybyś już wiedział, jak to zrobić.)

Answer 2

Jeśli masz Python dostępne (zmienić 10 co chcesz):

python -c 'import random, sys; print("".join(random.sample(sys.stdin.readlines(), 10)).rstrip("\n"))' < input.txt 

(to będzie działać w Pythonie 2.x oraz 3.x)

również (ponownie zmienić 10 do odpowiedniej wartości):

sort -R input.txt | head -10 

Answer 3

To powinno wystarczyć, przynajmniej z bash i zakładając, że środowisko ma innych poleceń dostępnych:

cat chk.c | while read x; do 
    echo $RANDOM:$x 
done | sort -t: -k1 -n | tail -10 | sed 's/^[0-9]*://' 

Zasadniczo Wyjścia plik, umieszczając liczbę losową na początku każdej linii.

Następnie sortuje na ten numer, chwyta 10 ostatnich linii i usuwa z nich ten numer.

Dlatego daje dziesięć losowych linii z pliku, bez powtórzeń.

Na przykład, oto zapis nim uruchomiony trzy razy z tego pliku chk.c:

==== 
pax$ testprog chk.c 
} else { 
} 
newNode->next = NULL; 
colm++; 

==== 
pax$ testprog chk.c 
} 

arg++; 
printf (" [%s] n", currNode->value); 
free (tempNode->value); 

==== 
pax$ testprog chk.c 

char tagBuff[101]; 
} 
return ERR_OTHER; 
#define ERR_MEM 1 

=== 
pax$ _ 

Answer 4

To może pracować dla Ciebie:

shuf -n3 file 

shuf jest jednym z coreutils GNU.

Answer 5

Aby uzyskać N losowej linii z FILE z Perl:

perl -MList::Util=shuffle -e 'print shuffle <>' FILE | head -N 

Answer 6

sort -Ru filename | head -5 

zapewni żadnych duplikatów. Nie wszystkie implementacje sort mają opcję -R.

Answer 7

Oto odpowiedź za pomocą rubin, jeśli nie chcesz instalować niczego innego:

cat filename | ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")' 

Przykładowo, jeżeli plik (dups.txt), która wygląda następująco:

1 2 
1 3 
2 
1 2 
3 
4 
1 3 
5 
6 
6 
7 

Ty może uzyskać następujące dane wyjściowe (lub jakiś permutacji):

cat dups.txt| ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")' 
4 
6 
5 
1 2 
2 
3 
7 
1 3 

Kolejny przykład z komentarzy:

printf 'test\ntest1\ntest2\n' | ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")' 
test1 
test 
test2 

Oczywiście jeśli masz plik z powtarzających się linii testu dostaniesz tylko jedną linię:

printf 'test\ntest\ntest\n' | ruby -e 'puts ARGF.read.split("\n").uniq.shuffle.join("\n")' 
test