Podziel jeden plik na wiele plików w oparciu o separator

Question

Mam jeden plik z -| jako ogranicznik po każdej sekcji ... trzeba utworzyć osobne pliki dla każdej sekcji przy użyciu systemu Unix.

przykład pliku wejściowego

wertretr 
ewretrtret 
1212132323 
000232 
-| 
ereteertetet 
232434234 
erewesdfsfsfs 
0234342343 
-| 
jdhg3875jdfsgfd 
sjdhfdbfjds 
347674657435 
-| 

Oczekiwany wynik w pliku 1

wertretr 
ewretrtret 
1212132323 
000232 
-| 

Oczekiwany wynik w pliku 2

ereteertetet 
232434234 
erewesdfsfsfs 
0234342343 
-| 

Oczekiwany wynik w pliku 3

jdhg3875jdfsgfd 
sjdhfdbfjds 
347674657435 
-| 

Answer 1

Debian ma csplit, ale nie wiem, czy jest to wspólne dla wszystkich/większości/innych dystrybucji. Jeśli nie, chociaż, to nie powinno być zbyt trudne do wyśledzenia źródła i skompilować je ...

Answer 2

cat file| (I=0; echo -n "">file0; while read line; do echo $line >> file$I; if [ "$line" == '-|' ]; then I=$[I+1]; echo -n "" > file$I; fi; done) 

i formatowany wersja:

#!/bin/bash 
cat FILE | (
    I=0; 
    echo -n"">file0; 
    while read line; 
    do 
    echo $line >> file$I; 
    if [ "$line" == '-|' ]; 
    then I=$[I+1]; 
     echo -n "" > file$I; 
    fi; 
    done; 
) 

Answer 3

Można również użyć awk. Nie znam się na awk, ale poniższe rzeczy zdawały się działać dla mnie. Wygenerował part1.txt, part2.txt, part3.txt i part4.txt. Zauważ, że ostatni wygenerowany plik partn.txt jest pusty. Nie jestem pewien, jak to naprawić, ale jestem pewien, że można to zrobić przy odrobinie podkręcania. Jakieś sugestie?

awk_pattern file: komenda

BEGIN{ fn = "part1.txt"; n = 1 } 
{ 
    print > fn 
    if (substr($0,1,2) == "-|") { 
     close (fn) 
     n++ 
     fn = "part" n ".txt" 
    } 
} 

bash:

awk -f awk_pattern input.file

Answer 4

Oto kod Perl, który zrobi coś

#!/usr/bin/perl 
open(FI,"file.txt") or die "Input file not found"; 
$cur=0; 
open(FO,">res.$cur.txt") or die "Cannot open output file $cur"; 
while(<FI>) 
{ 
    print FO $_; 
    if(/^-\|/) 
    { 
     close(FO); 
     $cur++; 
     open(FO,">res.$cur.txt") or die "Cannot open output file $cur" 
    } 
} 
close(FO); 

Answer 5

awk '{print $0 " -|"> "file" NR}' RS='-\\|' input-file 

Answer 6

Jedna liniowa, bez programowania. (Z wyjątkiem regexp itp)

csplit --digits=2 --quiet --prefix=outfile infile "/-|/+1" "{*}" 

Answer 7

Jest to rodzaj problemu pisałem kontekstowe-split dla: http://stromberg.dnsalias.org/~strombrg/context-split.html

$ ./context-split -h 
usage: 
./context-split [-s separator] [-n name] [-z length] 
     -s specifies what regex should separate output files 
     -n specifies how output files are named (default: numeric 
     -z specifies how long numbered filenames (if any) should be 
     -i include line containing separator in output files 
     operations are always performed on stdin 

Answer 8

Rozwiązałem nieco inny problem, gdzie plik zawierający linię z nazwa, pod którą powinien iść poniższy tekst. Ten kod pocztowy działa dla mnie:

#!/path/to/perl -w 

#comment the line below for UNIX systems 
use Win32::Clipboard; 

# Get command line flags 

#print ($#ARGV, "\n"); 
if($#ARGV == 0) { 
    print STDERR "usage: ncsplit.pl --mff -- filename.txt [...] \n\nNote that no space is allowed between the '--' and the related parameter.\n\nThe mff is found on a line followed by a filename. All of the contents of filename.txt are written to that file until another mff is found.\n"; 
    exit; 
} 

# this package sets the ARGV count variable to -1; 

use Getopt::Long; 
my $mff = ""; 
GetOptions('mff' => \$mff); 

# set a default $mff variable 
if ($mff eq "") {$mff = "-#-"}; 
print ("using file switch=", $mff, "\n\n"); 

while($_ = shift @ARGV) { 
    if(-f "$_") { 
    push @filelist, $_; 
    } 
} 

# Could be more than one file name on the command line, 
# but this version throws away the subsequent ones. 

$readfile = $filelist[0]; 

open SOURCEFILE, "<$readfile" or die "File not found...\n\n"; 
#print SOURCEFILE; 

while (<SOURCEFILE>) { 
    /^$mff (.*$)/o; 
    $outname = $1; 
# print $outname; 
# print "right is: $1 \n"; 

if (/^$mff /) { 

    open OUTFILE, ">$outname" ; 
    print "opened $outname\n"; 
    } 
    else {print OUTFILE "$_"}; 
    } 

Answer 9

Następujące polecenie działa dla mnie. Mam nadzieję, że to pomoże. bash awk 'BEGIN{file = 0; filename = "output_" file ".txt"} /-|/ {getline; file ++; filename = "output_" file ".txt"}{print $0 > filename}' input

Answer 10

Oto Python 3 skrypt, który dzieli plik na kilka plików na podstawie nazwy pliku dostarczonych przez ograniczniki.Przykładowy plik wejściowy:

# Ignored 

######## FILTER BEGIN foo.conf 
This goes in foo.conf. 
######## FILTER END 

# Ignored 

######## FILTER BEGIN bar.conf 
This goes in bar.conf. 
######## FILTER END 

Oto scenariusz:

#!/usr/bin/env python3 

import os 
import argparse 

# global settings 
start_delimiter = '######## FILTER BEGIN' 
end_delimiter = '######## FILTER END' 

# parse command line arguments 
parser = argparse.ArgumentParser() 
parser.add_argument("-i", "--input-file", required=True, help="input filename") 
parser.add_argument("-o", "--output-dir", required=True, help="output directory") 

args = parser.parse_args() 

# read the input file 
with open(args.input_file, 'r') as input_file: 
    input_data = input_file.read() 

# iterate through the input data by line 
input_lines = input_data.splitlines() 
while input_lines: 
    # discard lines until the next start delimiter 
    while input_lines and not input_lines[0].startswith(start_delimiter): 
     input_lines.pop(0) 

    # corner case: no delimiter found and no more lines left 
    if not input_lines: 
     break 

    # extract the output filename from the start delimiter 
    output_filename = input_lines.pop(0).replace(start_delimiter, "").strip() 
    output_path = os.path.join(args.output_dir, output_filename) 

    # open the output file 
    print("extracting file: {0}".format(output_path)) 
    with open(output_path, 'w') as output_file: 
     # while we have lines left and they don't match the end delimiter 
     while input_lines and not input_lines[0].startswith(end_delimiter): 
      output_file.write("{0}\n".format(input_lines.pop(0))) 

     # remove end delimiter if present 
     if not input_lines: 
      input_lines.pop(0) 

Wreszcie oto jak go uruchomić:

$ python3 script.py -i input-file.txt -o ./output-folder/ 

Answer 11

Zastosowanie csplit jeśli masz.

Jeśli nie, ale masz Python ... nie używaj Perla.

Zakładając, że przykładowy plik nazywa się "samplein":

$ python -c "import sys 
for i, c in enumerate(sys.stdin.read().split('-|')): 
    open(f'out{i}', 'w').write(c)" < samplein 

Jeśli masz Python 3.5 lub niższe, nie można używać F-ciągi:

$ python -c "import sys 
for i, c in enumerate(sys.stdin.read().split('-|')): 
    open('out' + str(i), 'w').write(c)" < samplein 

i teraz:

$ ls out* 
out0 out1 out2 out3