Batch usuń dużą liczbę plików

Question

Codziennie przesłane przez użytkownika pliki starsze niż miesiąc są usuwane z serwera. Przesyłane przez użytkownika pliki są przechowywane w katalogach z dnia na dzień (np. /var/www/media/2013-03-13), dzięki czemu można łatwo zidentyfikować pliki/katalog, który należy usunąć.

Problem: Usuwanie 100 000 plików na raz powoduje, że serwer przestaje odpowiadać i zajmuje dużo czasu. (Ubuntu 12.04 z 2x2TB ext4 SATA3 HDD w oprogramowaniu RAID1). W tej chwili PHP wykonuje exec na polecenie find /path/to/dir -maxdepth 1 -name '*' -delete.

Jak podzielić pliki wymagane do usunięcia? Wykonanie ls zajmie naprawdę dużo tych dużych katalogów.

Rozwiązanie nie musi być w PHP. Nie trzeba nawet dzielić plików na mniejsze partie.

Answer 1

1. Znajdź katalogi dni chcesz zachować
2. Znajdź katalogi wszystkich dni
3. usuń 1. z 2.
4. rm -rf katalogów można uzyskać z 3.

Nie jestem pewien, czy jest to szybsze niż metoda, ale unika jawnego wymieniania wszystkich plików w katalogach.

Answer 2

Sztuką jest nie czytać wszystkich plików, ale użyć readdir, aby uzyskać je jeden po drugim. Zobacz Perl to the rescue: case study of deleting a large directory dla rozwiązania Perla.