Sprawdzanie, czy plik jest całkowicie zapisany.

Question

Obecnie pracuję nad projektem, który przetwarza pliki z katalogu źródłowego w jednej z jego procedur. Jest proces Java, który szuka określonego katalogu i próbuje czytać i przetwarzać pliki, jeśli istnieją. Pliki są zamykane i aktualizowane przez proces innej osoby trzeciej. Pytanie brzmi: jak mogę sprawdzić, czy plik jest całkowicie napisany? Próbuję użyć file.length(), ale wygląda na to, że nawet jeśli proces pisania nie został zakończony, zwraca rzeczywisty rozmiar. Mam wrażenie, że rozwiązanie powinno być zależne od platformy. Każda pomoc będzie doceniona.

AKTUALIZACJA: To pytanie nie różni się znacząco od duplikatu, ale ma odpowiedź z działającym fragmentem kodu, który jest wysoko oceniany.

Answer 1

Czy producent procesu zamyka plik po zakończeniu jego pisania? Jeśli tak, próba otwarcia pliku w procesie konsumenta z wyłączną blokadą zakończy się niepowodzeniem, jeśli proces producenta nadal trwa.

Answer 2

Nie sądzę, że istnieje ogólne rozwiązanie tego problemu. Poszukiwanie rozmiaru pliku jest nieprawidłowe, ponieważ niektóre aplikacje mogą ustawić rozmiar pliku przed każdym wywołaniem zapisu. Jedną z możliwości jest użycie blokowania. Będzie to wymagało, aby pisarz posiadał blokadę zapisu (lub wyłączną blokadę). Jeśli nie możesz zmodyfikować programu piszącego, możesz użyć narzędzi dostarczonych przez system operacyjny, takich jak utrwalacz w systemie Linux, aby zobaczyć, że istnieje proces, który nadal uzyskuje dostęp do pliku.

Answer 3

Jeśli zamierzasz użyć tego kodu na jednej platformie, może być w stanie używać NIO's FileLock facility. Ale uważnie przeczytaj dokumentację i zauważ, że na wielu platformach blokada jest tylko doradcza.

Innym rozwiązaniem jest mieć jeden proces zapisać plik z nazwą, że proces ten nie będzie wiedział, a następnie zmień nazwę pliku na rozpoznawalnej nazwy kiedy zapis jest kompletny. Na większości platform operacja zmiany nazwy ma wartość atomową, jeśli źródło i miejsce docelowe są tym samym woluminem systemu plików.

Answer 4

Mam roztwór roboczy:

private boolean isCompletelyWritten(File file) { 
    RandomAccessFile stream = null; 
    try { 
     stream = new RandomAccessFile(file, "rw"); 
     return true; 
    } catch (Exception e) { 
     log.info("Skipping file " + file.getName() + " for this iteration due it's not completely written"); 
    } finally { 
     if (stream != null) { 
      try { 
       stream.close(); 
      } catch (IOException e) { 
       log.error("Exception during closing file " + file.getName()); 
      } 
     } 
    } 
    return false; 
} 

Dzięki @cklab i @Will i wszyscy inni, którzy je szukać w "exclusive lock" sposób. Właśnie napisałem tutaj kod, aby inni zainteresowani korzystali z niego. Wierzę, że rozwiązanie z przemianowaniem sugerowane przez @tigran działa również, ale czyste rozwiązanie Java jest lepsze dla mnie.

P.S. Początkowo użyłem FileOutputStream zamiast RandomAccessFile, ale blokuje to zapisywanie pliku.

Answer 5

Jeśli można użyć Java 1.7, przyjrzeć Nio narzędzi, specjalnie java.nio.channels.FileChannel

here jest przykładem blokowania pliku i czytać.

Answer 6

Jedno proste rozwiązanie Użyłem w przeszłości dla tego scenariusza z Windows jest użycie boolean File.renameTo(File) i próbować przenieść oryginalny plik do oddzielnego folderu pomostowego:

Jeśli success jest false, wówczas potentiallyIncompleteFile jest wciąż zapisywane.