Udostępnianie pamięci w Gunicorn?

Question

Mam dużą strukturę danych tylko do odczytu (wykres załadowany w siecix, choć to nie powinno być ważne), którego używam w moim serwisie internetowym. Usługa internetowa jest wbudowana w Flask, a następnie obsługiwana przez Gunicorn. Okazuje się, że dla każdego pracownika Gunicorn, który się rozpędzam, to działa, posiada własną kopię mojej struktury danych. Tak więc moja struktura danych ~ 700mb, która jest doskonale zarządzalna z jednym robotnikiem zamienia się w całkiem sporą pamięć, kiedy mam 8 uruchomionych. Czy istnieje sposób, w jaki mogę dzielić tę strukturę danych pomiędzy procesami gunicorn, więc nie muszę marnować tak dużo pamięci?

Answer 1

Wygląda na to, że najprościej to zrobić: tell gunicorn to preload your application przy użyciu opcji preload_app. Zakłada się, że można załadować strukturę danych jako zmienną moduł poziomie:

from flask import Flask 
from your.application import CustomDataStructure 

CUSTOM_DATA_STRUCTURE = CustomDataStructure('/data/lives/here') 

# @app.routes, etc. 

Alternatywnie, można użyć memory-mapped file (jeśli można owinąć pamięci współdzielonej z niestandardowej struktury danych), gevent with gunicorn aby zapewnić, że używa się tylko jednego procesu lub the multi-processing module to spin up your own data-structure server, z którym łączy się za pomocą IPC.