Jak prawidłowo podzielić tabelę w czasie rzeczywistym w kdb?

Question

Mam aplikację C, która przesyła dane do tabeli pamięci kdb przez cały dzień, ostatecznie przerastając rozmiar mojej pamięci RAM serwera. Ostatecznie celem jest przechowywanie danych na dysku, dlatego postanowiłem uruchomić funkcję partycji czasowej, aby stopniowo przesyłać dane. Wpadłem na ten kod:

part_timer : { [] 
    (`$db) upsert .Q.en[`$sym_path] select [20000] ts,exch,ticker,side,price,qty,bid,ask from md; 
    delete from `md where i<20000 
} 

.z.ts: part_timer 
.z.zd: 17 2 6i 
\t 1000 

Czy to właściwy sposób na podział danych strumieniowych w czasie rzeczywistym? Jak napisałbyś ten kod? Obawiam się, że instrukcja delete nie jest zsynchronizowana z select.

Answer 1

Nie jest to jednoznaczne rozwiązanie problemu. Spójrz na w.q here. Jest to alternatywa tylko do zapisu tradycyjnego RDB. To buforuje żądania, a każdy rekord MAXOWS zapisuje dane na dysk.

Answer 2

Na koniec dnia (to znaczy nie należy się spodziewać, że dane mają być dołączone), z programu c można nazwać:

Napisz do lokalizacji dla 2013.01.01

.Q.dpft[`:/path/to/location;2013.01.01;`sym;`tableName]; 

Wyczyść tabela

delete from `tableName 

Usunąć niektóre pamięć się

.Q.gc peach til system"s" 

Oczywiście zakładano, że masz kolumny czasu/symu i chcesz je przeglądać według daty. W przeciwnym razie

`:/path/to/location/tableName/ set tableName 

Splay.

można dołączyć również, jeśli chcesz (patrz IO rozdział Q dla śmiertelników na przykładach)

Answer 3

W powyższym komentarzu pan zapytał:

Jeśli nie, w jaki sposób można skutecznie zreorganizować dB przy koniec dnia do sekwencyjnego przechowywania symboli?

Wiem, że ta odpowiedź jest nieco opóźniona, ale może to pomóc komuś, kto próbuje zrobić to samo.

Uruchom następujące posortować dane na dysku (jest wolniejszy niż pociągnięcie go do pamięci RAM, sortowania, a następnie pisemnie na dysku):

 par:.Q.par[PATH;.z.D;TABLE]; 
    par xasc `sym; 
    @[par;`sym;`p#]; 

Gdzie:

PATH: `:path/on/disk/to/db/root; 

Dla pojedynczego pliku tabele:

TABLE: `tableName; 

Na stołach rozstawione:

TABLE: `$"tablename/"