Jak buforować uchwyty plików?

Question

Mam aplikację, która chce zachować wiele otwartych plików: okresowo odbiera żądanie klienta z napisem "dodaj dane do pliku X" i byłoby idealnie mieć już otwarty plik, a sekcja nagłówka pliku już przeanalizowany, tak aby ten zapis był szybki. Jednak przechowywanie wielu plików jest niezbyt przyjemne dla systemu operacyjnego i może stać się niemożliwe, jeśli wzrosną nasze potrzeby przechowywania danych.

Chciałbym więc, aby funkcja "daj mi ten uchwyt pliku, otwierając, jeśli nie jest buforowana", oraz proces do automatycznego zamykania plików, które nie zostały napisane przez, powiedzmy, pięć minut. Dla konkretnego przypadku buforowania uchwytów plików zapisywanych krótkimi kropkami, prawdopodobnie jest to wystarczające, , ale wydaje się, że jest to wystarczająco ogólny problem, że powinny istnieć funkcje takie jak "daj mi obiekt o nazwie X, z pamięci podręcznej, jeśli to możliwe "i" Teraz skończyłem z obiektem X, więc spraw, aby kwalifikowało się do eksmisji pięć: minut od teraz ".

core.cache wygląda to może być odpowiednie do tego celu, ale jest całkiem pozbawione documentation i source przewiduje żadnych szczególnych wskazówek o tym, jak z niego korzystać. Jego wygląd TTLCache wygląda obiecująco, ale nie jest jasne, jak go używać, ponieważ nie jest jasne, jak go używać, aby usunąć eksmitowane elementy, więc nie można zamknąć zasobu , gdy jestem gotowy na jego wygaśnięcie.

Mogę przetasować własne, ale istnieje wiele trudnych miejsc i jestem pewna, że ​​dostanę pewne pomyłki, więc mam nadzieję, że ktoś tam może wskazać mi implementację to funkcjonalność . Mój kod jest w clojure, ale oczywiście używanie biblioteki java byłoby całkowicie w porządku, jeśli jest tam, gdzie można znaleźć najlepszą implementację.

Answer 1

Zapoznaj się z Guava's cache implementation.

• Można dostarczyć Callable (lub CacheLoader) metody get dla „czy uchwyt jest buforowane, zwraca go, inaczej otwarta, cache i odesłać go” semantyka
• Można skonfigurować czasowe eksmisji takiego jak expireAfterAccess
• można zarejestrować RemovalListener zamknąć uchwyty na usunięciu

Modyfikacja przykłady kodu z połączonego Guava Strona nieznacznie, używając CacheLoader:

LoadingCache<Key, Handle> graphs = CacheBuilder.newBuilder() 
    .maximumSize(100) // sensible value for open handles? 
    .expireAfterAccess(5, TimeUnit.MINUTES) 
    .removalListener(removalListener) 
    .build(
     new CacheLoader<Key, Handle>() { 
     public Handle load(Key key) throws AnyException { 
      return openHandle(key); 
     } 
     }); 

RemovalListener<Key, Handle> removalListener = 
    new RemovalListener<Key, Handle>() { 
    public void onRemoval(RemovalNotification<Key, Handle> removal) { 
     Handle h = removal.getValue(); 
     h.close(); // tear down properly 
    } 
    }; 

* ZASTRZEŻENIE * Nie używałem cache się w ten sposób, upewnij się przetestować to sensownie.

Answer 2

OS mają pewne ograniczenia: Is there a limit on number of open files in Windows

SortedMap< Date, File > cache = new TreeMap<>(); 
cache.put(new Date(), file); 
Timer timer = new Timer(true); 
timer.scheduleAtFixedRate(task, 60*1000L, 60*1000L); 

Aby wyczyścić pamięć podręczną: usunąć najpierw, czy jest to wiek> 5 minut, aż powtórzyć pierwszy wiek> 5 minut.

Answer 3

Jeśli nie masz nic przeciwko niektórych Java, zobacz http://ehcache.org/ i http://ehcache.org/apidocs/net/sf/ehcache/event/CacheEventListener.html.