Przechowuj pamięć podręczną do pliku functools.lru_cache w Pythonie> = 3.2

Question

Używam @functools.lru_cache w Pythonie 3.3. Chciałbym zapisać pamięć podręczną w pliku, aby przywrócić ją po ponownym uruchomieniu programu. Jak mogłem zrobić?

Edycja 1 Możliwe rozwiązanie: We need to pickle any sort of callable

Problem trawieniu __closure__:

_pickle.PicklingError: Can't pickle <class 'cell'>: attribute lookup builtins.cell failed 

Gdy próbuję przywrócić funkcję bez niej uzyskać:

TypeError: arg 5 (closure) must be tuple 

Answer 1

Nie możesz zrobić, co chcesz, używając lru_cache, ponieważ nie zapewnia ona interfejsu API do dostępu do pamięci podręcznej, a może być przepisany w C w przyszłych wydaniach. Jeśli naprawdę chcesz zapisać pamięć podręczną, musisz użyć innego rozwiązania, które zapewnia dostęp do pamięci podręcznej.

Wystarczy, że sam napiszesz pamięć podręczną. Na przykład:

from functools import wraps 

def cached(func): 
    @wraps(func) 
    def wrapper(*args): 
     try: 
      return func.cache[args] 
     except KeyError: 
      func.cache[args] = result = func(*args) 
      return result 
    wrapper.cache = {} 
    return wrapper 

Można wtedy zastosować go jako dekorator:

>>> @cached 
... def fibonacci(n): 
...  if n < 2: 
...    return n 
...  return fibonacci(n-1) + fibonacci(n-2) 
... 
>>> fibonacci(100) 
354224848179261915075L 

i pobierać cache:

>>> fibonacci.cache 
{(32,): 2178309, (23,): 28657, ... } 

Można następnie zalewa/unpickle pamięci podręcznej, jak należy i załaduj go:

fibonacci.cache = pickle.load(cache_file_object) 

---

Znalazłem feature request w trackerze błędów Pythona, aby dodać zrzuty/obciążenia do lru_cache, ale nie zostało to zaakceptowane/zaimplementowane. Być może w przyszłości będzie można mieć wbudowaną obsługę tych operacji za pośrednictwem lru_cache.

Answer 2

Nie jesteś powinien dotykać czegokolwiek w implementacji dekoratora za wyjątkiem publicznego interfejsu API, więc jeśli chcesz zmienić swoje zachowanie, prawdopodobnie musisz skopiować jego implementację i samodzielnie dodać potrzebne funkcje. Pamiętaj, że pamięć podręczna jest obecnie przechowywana jako lista podwójnie połączona, więc zachowaj ostrożność podczas jej zapisywania i ładowania.

Answer 3

Rozważ użycie trwałego buforowania na dysku przy użyciu joblib.Memory.

Ponieważ dysk jest ogromny, nie ma potrzeby stosowania schematu buforowania LRU.

Answer 4

Można użyć biblioteki kopalni, mezmorize

import random 
from mezmorize import Cache 

cache = Cache(CACHE_TYPE='filesystem', CACHE_DIR='cache') 


@cache.memoize() 
def add(a, b): 
    return a + b + random.randrange(0, 1000) 

>>> add(2, 5) 
727 
>>> add(2, 5) 
727