Potrzebuję przechowywać około 100 milionów rekordów w bazie danych. Około 60-70% z nich zostanie usuniętych codziennie i ta sama ilość rekordów jest wstawiana codziennie. Czuję, że baza danych dokumentów, jak Hbase, pasowałaby do tego Big Table. Istnieje wiele innych magazynów danych, takich jak Cassandra, MongoDb itp. Który magazyn danych byłby przydatny w tego rodzaju problemach, ponieważ będzie ogromna ilość odczytów/zapisów (rzędu 10 milionów) dziennie.Najlepszy magazyn danych dla ogromnych danych z dużą liczbą odczytów i zapisów
5
A
Odpowiedz
3
podstawie charakterystyki Wspominałeś (JSON Dokumenty, dostęp przez klucz, 100 milionów płyt, zrównoważony odczyt/zapis) Powiedziałbym CouchDB lub Membase są dobrymi kandydatami (oto quick comparison)
Zarówno HBase i Cassandra prawdopodobnie również może działać, ale w przypadku HBase musisz zainstalować wiele komponentów (Hadoop, ZooKeeper itp.), których naprawdę nie użyjesz d tylko i Cassandra jest lepsza, gdy masz więcej zapisów niż czytasz (przynajmniej ostatni raz go użyłem).
Big Table, jest niestety wewnętrzna dla Google:)
Powiązane problemy
- 1. MATLAB: Wykresy rozrzutu z dużą liczbą punktów danych
- 2. Lucene jako magazyn danych
- 3. Ładowanie i analizowanie ogromnych ilości danych
- 4. Przechowywanie ogromnych danych w SQLite
- 5. Usuwanie ogromnych ilości danych z ogromnego stołu
- 6. Praca z dużą liczbą zmiennych pocztowych ASP.Net
- 7. Crosstab z dużą lub nieokreśloną liczbą kategorii
- 8. Problem z dużą liczbą znaczników na mapie
- 9. Powiąż dużą liczbę danych z comboboxem?
- 10. Najlepsza praktyka dla usługi WCF z dużą ilością danych?
- 11. Modulo% z dużą liczbą - Błąd nieskończoności - JavaScript
- 12. Replikacja Ehcache/Hibernate i RMI z dużą liczbą jednostek
- 13. Process.join() i kolejka nie działają z dużą liczbą
- 14. Praca z dużą ilością danych i dużą ilością rastrów w R?
- 15. Jak sprawdzić lokalny magazyn danych GAE
- 16. Wskazówki dotyczące zarządzania dużą liczbą plików?
- 17. Spark SQL nie może zakończyć pisania danych Parkietu z dużą liczbą odłamków
- 18. Jak usunąć główny magazyn danych trwałych
- 19. Google emulator konsoli internetowej magazyn danych
- 20. Jak najlepiej radzić sobie z dużą liczbą deskryptorów plików?
- 21. Refaktoryzacja metody ze zbyt dużą liczbą bool
- 22. Najlepszy typ dla danych UTF-8?
- 23. Najlepsza praktyka do przechowywania ogromnych list danych w Javie
- 24. Usuń dużą ilość danych w serwerze sql
- 25. Jaki jest najlepszy sposób przechowywania danych obszaru dla przygody tekstowej?
- 26. Pisanie ogromnych porcji danych do obiektów NSData - iOS
- 27. Jak upuszczać wiersze ze zbyt dużą liczbą wartości NULL?
- 28. Problemy z pamięcią z dużą liczbą fragmentów w tylnym stosie
- 29. Jak korzystać z typeahead.js z dużą bazą danych
- 30. Importowanie dużą csv do bazy danych mysql
Być może chciałeś porównania wydajności. Każdy z tych sklepów z danymi może zobaczyć występy na swoich stronach internetowych. Używamy Cassandry do podobnej sytuacji, ale nie grałem z innymi datastorami – Nishant
charakter twoich danych prawdopodobnie wpływa na porównywanie bazy danych, jak również – Prescott
wiele magazynów danych może obsłużyć 100 milionów rekordów i tych stóp odczytu/usuwania. Jaka jest wielkość rekordów? jakie są twoje wzorce dostępu do danych, itp. czy wskaźniki odczytu i odczytu? –