Szafka Tokyo - tuning pamięci

Question

Posiadam więcej niż 100 milionów par klucz-wartość (jeden klucz może mieć wiele wartości). Używam BDB (B + Tree DB) Tokyo Cabinet, którego kluczem jest 32-bitowa tablica bajtów.

Czy w Gabinecie Tokijskim można ustawić ilość pamięci (dolny i górny limit), z której może korzystać? Właściwie mam pamięć 8 GB, ale wygląda na to, że nie może skorzystać z dużej pamięci.

Inną kwestią jest to, że chcę wiedzieć, że jak się ustawić,

tokyoCabinet.tune() tokyoCabinet.optimize() tokyoCabinet.setxmsiz() tokyoCabinet.setcache() te parametry więc ja mogę uzyskać maksymalne dostrojenie dla mojej sprawy. Z góry dziękuję. Każdy pomysł jest mi pomocny.

Answer 1

tokyoCabinet.setcache() - ustawić rozmiar pamięci podręcznej, zazwyczaj jest o połowę lub więcej rozmiar pliku

tokyoCabinet.tune() - ustawić plik hash wiadro i parametry indeksu btree przed otwarciem

tokyoCabinet.optimize() - zestaw nowych parametrów pliku rekordu mieszającego i indeksu BTree, gdy plik jest już otwarty, jeśli liczba rekordów wzrastała bardziej niż ustawiona w melodii (bnum), można zwiększyć przez optymalizację(), na przykład.

tokyoCabinet.setxmsiz() ustawić wielkość dodatkowego odwzorowywane pamięci, jak przy użyciu mmap zwykle rozmiar pliku

100 milionów par klucz wartość - bnum> 100M * 2 wartość jest 32-bitowy bajt array -> recsize = 32-bitowy bajt = 8 -> apow = 3 (= 2^3)

Jeżeli 1024 elementów tablicy; recsize, zestaw apow = 13

lmemb określa liczbę członków na każdej stronie liści. Jeśli nie jest większa niż 0, określona jest wartość domyślna. Wartość domyślna to 128.

nmemb określa liczbę członków na każdej stronie bez liści. Jeśli nie jest większa niż 0, określona jest wartość domyślna. Wartość domyślna to 256. fpow określa maksymalną liczbę elementów puli wolnych bloku o mocy 2.

The official documentation