Jak synchronizować dane rynkowe często i pokazują jako historyczny timeseries dane

Question

http://pubapi.cryptsy.com/api.php?method=marketdatav2

chciałbym zsynchronizować dane rynkowe w sposób ciągły (np cryptsy i innych giełdach). Chciałbym pokazywać na bieżąco najnowsze ceny kupna/sprzedaży z poszczególnych zamówień z tych giełd jako historyczne szeregi czasowe.

Jaka baza danych powinna być używana do przechowywania i renderowania lub wykreślania dowolnego parametru z pobranych danych jako danych historycznych czasu szeregowego.

Answer 1

Proponuję, aby spojrzeć na bazę danych dostrojoną do obsługi danych szeregów czasowych. Ten, który przychodzi na myśl, to InfluxDB. This question ma bardziej ogólne zbiory baz danych czasowych.

Answer 2

Myślę, że potrzebuje więcej szczegółów na temat wymagań. To po prostu opis "potrzebuje danych synchronizacji szeregów czasowych". Co to jest scenariusz? czym jest źródło danych i miejsce docelowe?

Wariant 1.

jeśli jest to tylko kwestie synchronizacji danych pomiędzy dwoma danymi oparte, najprostszym rozwiązaniem jest CouchDB NoSQL Series (CouchDB, CouchBase, Cloudant)

Wszystkie one opierają się na CouchDB, w każdym razie zapewniają funkcję replikacji danych na poziomie centrum danych (XCDR). Możesz więc replikować datę na innym couchDB w innym centrum danych lub nawet na couchDB na urządzeniach mobilnych.

Mam nadzieję, że przyda się u.

Opcja 2.

Inne podejście to podejście Data Integration. Możesz synchronizować dane za pomocą zadania wsadowego ETL. Pracownik wsadowy może okresowo kopiować dane do miejsca docelowego. Jest to najczęstszy sposób replikowania danych do innego miejsca docelowego. Istnieje wiele narzędzi, które obsługuje ETL Line Pentaho ETL, Spring Integration, Apache Camel.

Jeśli podasz mi więcej szczegółów scenariusza, mogę pomóc u bardziej szczegółowo

Ciesz -Terry

Answer 3

myślę MongoDB jest dobrym wyborem. Oto dlaczego:

1. Możesz łatwo skalować, a tym samym przechowywać ogromną ilość danych. Używając odpowiedniego klucza odłamkowego, być może uda ci się umieścić odłamki blisko wymiany, którą podążają, aby poprawić prędkość, jeśli to powinno stać się problemem.
2. Zestawy replik oferują automatyczne przełączanie awaryjne, co domyślnie może być problemem.
3. Korzystając z funkcji TTL, dane mogą być automatycznie usuwane po ich TTL, co skutecznie tworzy bazę danych z każdym rundą.
4. Zarówno agregacja i mapa/zmniejszyć ramy będą pomocne
5. Istnieje kilka darmowe zajęcia na MongoDB Uniwersytetu które zapewnią Ci uniknąć najczęstszych pułapek