Jak podzielić duże pliki?

Question

Mam duży plik CSV (7,3 GB, 16 300 000 linii), jak mogę podzielić ten plik na dwa pliki?

Answer 1

Czy zapoznałeś się z poleceniem split? Więcej informacji można znaleźć na stronie thisczłowiek.

To page zawiera przykład użycia tego polecenia.

marginesie:

komenda man -k jest raczej przydatne do znalezienia komendy/linux unix, jeśli nie jesteś pewien, co jest specyficzne polecenia. Podaj słowo kluczowe za pomocą komendy man -k, a system wyciągnie powiązane polecenia. Np

% man -k split 

będzie wydajność:

csplit (1)   - split a file into sections determined by context lines 
dirsplit (1)   - splits directory into multiple with equal size 
dpkg-split (1)  - Debian package archive split/join tool 
gpgsplit (1)   - Split an OpenPGP message into packets 
pnmsplit (1)   - split a multi-image portable anymap into multiple single-image files 
ppmtoyuvsplit (1) - convert a portable pixmap into 3 subsampled raw YUV files 
split (1)   - split a file into pieces 
splitdiff (1)  - separate out incremental patches 
splitfont (1)  - extract characters from an ISO-type font. 
URI::Split (3pm)  - Parse and compose URI strings 
wcstok (3)   - split wide-character string into tokens 
yuvsplittoppm (1) - convert a Y- and a U- and a V-file into a portable pixmap 
zipsplit (1)   - split a zipfile into smaller zipfiles 

Answer 2

podzielonego -d N l/N plik.csv tempfile.part.

dzieli plik na pliki N bez dzielenia linii. Jak wspomniano w komentarzach powyżej, nagłówek nie jest powtarzany w każdym pliku.