Sprawdzanie, czy plik jest w zasobniku S3 przy użyciu s3cmd

Question

Mam program, który pomyślnie przesyła wszystkie potrzebne pliki. Mam codziennie nowe pliki, które muszę przesłać. Po przesłaniu plików nie są już potrzebne i dlatego nie chcę ich synchronizować.

Jestem ciekawy, czy istnieje sposób sprawdzenia, czy podano ścieżkę i nazwę pliku, jeśli istnieje w S3 przy użyciu s3cmd.

Answer 1

Możesz użyć polecenia ls w s3cmd, aby sprawdzić, czy plik jest obecny w S3.

kod Bash

path=$1 
count=`s3cmd ls $path | wc -l` 

if [[ $count -gt 0 ]]; then 
     echo "exist" 
else 
     echo "do not exist" 
fi 

Zastosowanie: ./s3_exist.sh s3: //foo/bar.txt

EDIT:

Jak cocoatomo zauważył w komentarzach, s3cmd ls $path listy wszystkich plików to rozpoczyna się od$path. Bezpieczniejszym rozwiązaniem byłoby użycie s3cmd info $path i sprawdzenie kodu wyjścia.

New Bash kod

path=$1 
s3cmd info $path >/dev/null 2>&1 

if [[ $? -eq 0 ]]; then 
    echo "exist" 
else 
    echo "do not exist" 
fi 

Answer 2

Zakładając, że bar.txt i bar.txt.bak istnieć w S3 wiadra: // foo "s3cmd ls s3: //foo/bar.txt" pokazuje następujące wyniki.

$ s3cmd ls s3://foo/bar.txt 
2013-11-11 11:11 5 s3://foo/bar.txt 
2013-11-11 11:11 5 s3://foo/bar.txt.bak 

Ponieważ powinniśmy usunąć drugą linię z wyniku polecenia, używamy komendy "awk" do filtrowania niepotrzebnych linii.

$ filename=s3://foo/bar.txt 
$ s3cmd ls ${filename} | awk "\$4 == \"${filename}\" { print \$4 }" 
2013-11-11 11:11 5 s3://foo/bar.txt 

Wreszcie, budujemy wszystkie polecenia.

filename=s3://foo/bar.txt 
count=$(s3cmd ls ${filename} | awk "\$4 == \"${filename}\" { print \$4 }" | wc -l) 

if [ $count -eq 0 ]; then 
    echo "file does not exist" 
else 
    echo "file exists" 
fi 

Answer 3

W nowszej wersji AWS CLI, można użyć poniższy kod, żeby wykryć istnienie pliku lub katalogu

count=$(aws s3 ls $path | wc -l) 
if [ $count -gt 0 ] 
then 
    (>&2 echo "$path already exists!") 
    return 
fi 

Answer 4

Możemy użyć s3cmd ls przyjąć jedną flag_exists flaga true, jeśli plik jest tam i false, jeśli nie ma tam pliku.

FLAG_EXISTS=false 
    for j in $(s3cmd ls s3://abc//abc.txt); do 
     if [[ "$j" == "s3://abc//abc.txt" ]]; then 
     FLAG_EXISTS=true 
     break 
     fi 
    done 
    if [ "$FLAG_EXISTS" = false ]; then 
     echo 'file not exists' 
    else 
     echo 'file exists' 
    fi 

Objaśnienie - Ponieważ ls może wrócić jak wiele wartości, jeśli u szukać s3cmd ls abc.txt, to może zwracać wartości jak abc.txt abcd.txt i tak dalej, więc pętli i sprawdzenie przy użyciu jeśli warunek jeśli plik istnieje.