Lista argumentów zbyt długa - Unix

Question

Skrypty posortują pliki według daty, a następnie przenieszą pierwsze 2500 plików do innego katalogu.
Kiedy uruchamiam poniżej skryptów, system monituje o zbyt długą listę komunikatów Argg. Ktoś może mi pomóc ulepszyć skrypty? Dzięki

NUM_OF_FILES=2500 
FROM_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in 
DESTINATION_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in_load 

if [ ! -d $DESTINATION_DIRECTORY ] 
     then 
       echo "unused_file directory does not exist!" 
     mkdir $DESTINATION_DIRECTORY 
     echo "$DESTINATION_DIRECTORY directory created!" 
else 
     echo "$DESTINATION_DIRECTORY exist!"  
fi 


echo "Moving $NUM_OF_FILES oldest files to $DESTINATION_DIRECTORY directory" 

ls -tr $FROM_DIRECTORY/MSCERC*.Z|head -$NUM_OF_FILES | 
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY" 

Answer 1

Najpierw utwórz listę kopii zapasowych plików do przetworzenia. Następnie odczytaj plik kopii zapasowej line-by-line i ulecz go. Na przykład

#!/bin/bash 
NUM_OF_FILES=2500 
FROM_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in 
DESTINATION_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in_load 

if [ ! -d $DESTINATION_DIRECTORY ] 
    then 
      echo "unused_file directory does not exist!" 
    mkdir $DESTINATION_DIRECTORY 
    echo "$DESTINATION_DIRECTORY directory created!" 
    else 
    echo "$DESTINATION_DIRECTORY exist!"  
fi 

echo "Moving $NUM_OF_FILES oldest files to $DESTINATION_DIRECTORY directory" 

ls -tr $FROM_DIRECTORY/MSCERC*.Z|head -2500 > list 
exec 3<list 

while read file <&3 
do 
    mv $file $DESTINATION_DIRECTORY 
done 

Answer 2

szybki sposób rozwiązać ten problem byłoby zmienić $ FROM_DIRECTORY, tak, że można odnieść pliki za pomocą (krótsze) ścieżek względnych.

cd $FROM_DIRECTORY && ls -tr MSCERC*.Z|head -2500 |xargs -i sh -c "mv {} $DESTINATION_DIRECTORY"

To również nie jest całkowicie idiotoodporny, jeśli masz zbyt wiele plików, które pasują.

Answer 3

nie powiedziałeś, ale zakładam, że to jest, gdy pojawia się problem: (. Można go zweryfikować poprzez dodanie „set -x” na górze skryptu)

ls -tr $FROM_DIRECTORY/MSCERC*.Z|head -2500 | \ 
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY" 

Problem polega na tym, że jądro ma ustalony maksymalny rozmiar całkowitej długości wiersza poleceń przydzielonego nowemu procesowi, a także jego przekroczenie w poleceniu ls. Można to obejść nie używając masek i zamiast korzystania grep:

ls -tr $FROM_DIRECTORY/ | grep '/MSCERC\*\.Z$' |head -2500 | \ 
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY" 

(grep używa wyrażeń regularnych zamiast globs, więc wzór wygląda trochę inaczej.)

Answer 4

Zmień

ls -tr $FROM_DIRECTORY/MSCERC*.Z|head -2500 | \ 
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY" 

zrobić coś jak następuje:

find "$FROM_DIRECTORY" -maxdepth 1 -type f -name 'MSCERC*.Z' -printf '%p\t%T@\n' | sort -k2,2 -r | cut -f1 | head -$NUM_OF_FILES | xargs mv -t "$DESTINATION_DIRECTORY" 

tego zastosowania Znajdźmy stworzyć listę plików z modyfikacją znaczników czasu, sortuje według znacznika czasu, a następnie usuwa pole niepotrzebne przed przekazaniem wyjście do head i xargs

EDIT

innego wariantu, powinny działać z nie utils GNU

find "$FROM_DIRECTORY" -type f -name 'MSCERC*.Z' -printf '%p\t%T@' |sort -k 2,2 -r | cut -f1 | head -$NUM_OF_FILES | xargs -i mv \{\} "$DESTINATION_DIRECTORY"