pylibmc: "Asercja" ptr-> query_id == query_id +1 "nie powiodło się dla funkcji" memcached_get_by_key "'

Question

Mam aplikację internetową Pythona, która używa pylibmc module do łączenia się z memcached serwera. Jeśli testuję aplikację z żądaniami raz na sekundę lub wolniej, wszystko działa poprawnie. Jeśli mogę wysłać więcej niż jeden wniosek na sekundę, jednak moi awarii aplikacji i widzę następujące w moich dziennikach:

assertion „ptr-> query_id == query_id +1” nie powiodło się dla funkcji „memcached_get_by_key” prawdopodobne "Błąd programisty, parametr query_id nie był inkrementowany.", W libmemcached/get.cc: 107

Asercja "ptr-> query_id == query_id +1" nie powiodła się dla funkcji "memcached_get_by_key" prawdopodobnie dla "Błąd programisty, query_id nie był inkrementowany. ", w libmemcached/get.cc: 89

Każdy pomysł, co się dzieje źle lub jak to naprawić?

Mój kod wygląda następująco:

self.mc = pylibmc.Client(
    servers=[os.environ.get(MEMCACHE_SERVER_VAR)], 
    username=os.environ.get(MEMCACHE_USER_VAR), 
    password=os.environ.get(MEMCACHE_PASS_VAR), 
    binary=True 
    ) 

#... 

if (self.mc != None): 
    self.mc.set(key, stored_data) 

#... 

page = self.mc.get(key) 

Answer 1

Jest to kwestia gwintowania. pylibmc clients are not thread-safe. Powinieneś przekonwertować swój kod na wersję ThreadMappedPool object, aby zapewnić oddzielne połączenie dla każdego wątku. Coś takiego:

mc = pylibmc.Client(
    servers=[os.environ.get(MEMCACHE_SERVER_VAR)], 
    username=os.environ.get(MEMCACHE_USER_VAR), 
    password=os.environ.get(MEMCACHE_PASS_VAR), 
    binary=True 
    ) 
self.pool = pylibmc.ThreadMappedPool(mc) 

#... 

if (self.pool != None): 
    with self.pool.reserve() as mc: 
     mc.set(key, stored_data) 

#... 

if (self.pool != None): 
    with self.pool.reserve() as mc: 
     page = mc.get(key) 

Upewnij się, aby zadzwonić self.pool.relinquish() gdy wątek jest gotowy, ewentualnie w destructor!

(w moim przypadku tak się stało, bo używałem cherrypy jak mój serwer WWW, a CherryPy ikra 10 osobne wątki służyć żądań domyślnie.)

Answer 2

Pobiegłem do tego samego problemu z systemem Django na Apache. Przejście z pylibmc na python-memcached wyeliminowało problem dla mnie.