Czy można wyświetlić postęp sortowania w systemie Linux?

Question

Moja praca wymaga wielu pól sortowania od bardzo dużych plików. Zwykle robię to za pomocą polecenia sort w bash. Niestety, kiedy zaczynam coś takiego, nigdy nie jestem pewien, ile czasu to zajmie. Czy powinienem poczekać sekundę na pojawienie się wyników, czy też powinienem zacząć pracować nad czymś innym, kiedy działa?

Czy jest jakiś sposób, aby zorientować się, jak daleko posunął się jakiś rodzaj lub jak szybko działa?

$ cut -d , -f 3 VERY_BIG_FILE | sort -du > output 

Answer 1

Nie, GNU sort nie raportuje postępów.

Jednakże, jeśli używasz sort prostu usunąć duplikaty, a nie faktycznie dbają o zamówieniu, a następnie istnieje more scalable way robi że:

awk '! a[$0]++' 

ten wypisze pierwszego wystąpienia tak szybko, jak to widać, co może dać ci wyobrażenie o postępie.

Answer 2

Można wykonać swoją "sort" w tle dostaniesz szybka i można wykonywać inne zadania

$ sort ...... & # (& znaczy działać w tle)

Answer 3

You może chcieć dać pv próbę, powinien dać ci całkiem niezłe pojęcie o tym, co dzieje się w twojej rurze pod względem przepustowości.

Przykład (niesprawdzone) wstrzykiwanie pv przed i po komendzie do sort aby zorientować się, przepustowość:

$ cut -d , -f 3 VERY_BIG_FILE | pv -cN cut | sort -du | pv -cN sort > output 

EDIT: Tęskniłem -u w swojej komendzie sortowania, więc obliczenia linie pierwszy być w stanie uzyskać procentowy wynik jest nieważny. Usunięto tę część z mojej odpowiedzi.