Losowe łączenie linii pliku o wartości 3 milionów wierszy

Question

Wszystko jest w tytule. Zastanawiam się, czy ktokolwiek zna się na szybką i rozsądną pamięć, wymaga losowego miksowania wszystkich linii pliku z 3 milionami linii. Domyślam się, że nie jest to możliwe za pomocą prostej komendy vim, więc każdy prosty skrypt używa Pythona. Próbowałem z Pythonem przy użyciu generatora liczb losowych, ale nie udało mi się znaleźć prostego wyjścia.

Answer 1

import random 
with open('the_file','r') as source: 
    data = [ (random.random(), line) for line in source ] 
data.sort() 
with open('another_file','w') as target: 
    for _, line in data: 
     target.write(line) 

To powinno wystarczyć. 3 miliony linii zmieści się w pamięci większości maszyn, chyba że linie są OGROMNE (ponad 512 znaków).

Answer 2

zajmuje tylko kilka sekund w Pythonie:

>>> import random 
>>> lines = open('3mil.txt').readlines() 
>>> random.shuffle(lines) 
>>> open('3mil.txt', 'w').writelines(lines) 

Answer 3

W wielu systemach polecenia Shell sort trwa -R do losowo swoje wejście.

Answer 4

Oto kolejna wersja

W powłoce użyj tego.

python decorate.py | sort | python undecorate.py 

decorate.py

import sys 
import random 
for line in sys.stdin: 
    sys.stdout.write("{0}|{1}".format(random.random(), line)) 

undecorate.py

import sys 
for line in sys.stdin: 
    _, _, data= line.partition("|") 
    sys.stdout.write(line) 

Używa prawie bez pamięci.

Answer 5

To jest taka sama jak Pan Kugelman, ale przy użyciu vim wbudowanego interfejsu Pythona:

:py import vim, random as r; cb = vim.current.buffer ; l = cb[:] ; r.shuffle(l) ; cb[:] = l 

Answer 6

Jeśli nie nie chcesz załadować wszystko do pamięci i sortować je tam, mają do przechowywania linii na dysku podczas sortowania losowego. To będzie bardzo powolne.

Oto bardzo prosta, głupia i wolna wersja. Zauważ, że może to zająć zaskakującą ilość miejsca na dysku i będzie bardzo powolny. Uruchomiłem go z 300 000 linii i zajmuje to kilka minut. 3 miliony linii może zająć godzinę. A więc: Zrób to w pamięci. Naprawdę. To nie jest takie duże.

import os 
import tempfile 
import shutil 
import random 
tempdir = tempfile.mkdtemp() 
print tempdir 

files = [] 
# Split the lines: 
with open('/tmp/sorted.txt', 'rt') as infile: 
    counter = 0  
    for line in infile: 
     outfilename = os.path.join(tempdir, '%09i.txt' % counter) 
     with open(outfilename, 'wt') as outfile: 
      outfile.write(line) 
     counter += 1 
     files.append(outfilename) 

with open('/tmp/random.txt', 'wt') as outfile: 
    while files: 
     index = random.randint(0, len(files) - 1) 
     filename = files.pop(index) 
     outfile.write(open(filename, 'rt').read()) 

shutil.rmtree(tempdir) 

Inną wersją byłoby przechowywanie plików w bazie danych SQLite i losowe losowanie linii z tej bazy danych. To prawdopodobnie będzie szybsze niż to.

Answer 7

Po prostu próbowałem tego na pliku z 4,3 M linii i najszybszą rzeczą było polecenie "shuf" na Linuksie. Użyj go tak:

shuf huge_file.txt -o shuffled_lines_huge_file.txt 

Trwało 2-3 sekundy.

Answer 8

Oto kolejny sposób korzystania random.choice, może to zapewnić pewne stopniowe pamięci zwalnia, jak również, ale z gorszym Big-O :)

from random import choice 

with open('data.txt', 'r') as r: 
    lines = r.readlines() 

with open('shuffled_data.txt', 'w') as w: 
    while lines: 
     l = choice(lines) 
     lines.remove(l) 
     w.write(l) 

Answer 9

Poniżej Vimscript może być używany do wymiany linie:

function! Random()              
    let nswaps = 100              
    let firstline = 1              
    let lastline = 10              
    let i = 0                
    while i <= nswaps              
    exe "let line = system('shuf -i ".firstline."-".lastline." -n 1')[:-2]" 
    exe line.'d'               
    exe "let line = system('shuf -i ".firstline."-".lastline." -n 1')[:-2]" 
    exe "normal! " . line . 'Gp'           
    let i += 1               
    endwhile                
endfunction 

Wybierz funkcję w trybie wizualnym i wpisz :@" następnie wykonać ją :call Random()