Hadoop to więcej do przetwarzania wsadowego, który zapewnia wysoki dostęp do danych. Powinieneś rzucić okiem na niektóre systemy NoSQL, takie jak zorientowane na dokumenty bazy danych. Trudno odpowiedzieć, nie wiedząc, jakie są twoje dane.
Reguła numer jeden dla projektu NoSQL polega na zdefiniowaniu najpierw scenariuszy zapytań. Gdy naprawdę zrozumiesz, w jaki sposób chcesz wysyłać zapytania do danych, możesz zapoznać się z różnymi rozwiązaniami NoSQL. Domyślną jednostką dystrybucji jest klucz. Dlatego musisz pamiętać, że musisz mieć możliwość dzielenia danych między komputerami węzłów, w przeciwnym razie skończysz z horyzontalnie skalowalnym systemem, w którym wszystkie prace będą nadal wykonywane w jednym węźle (aczkolwiek lepsze będą zapytania zależne od przypadku).
Musisz także przemyśleć twierdzenie CAP, większość baz danych NoSQL jest ostatecznie zgodna (CP lub AP), podczas gdy tradycyjne Relacyjne DBMS to CA. Wpłynie to na sposób przetwarzania danych i tworzenia pewnych rzeczy, na przykład generowanie kluczy może być oszustwem. Oczywiście pliki w folderze są nieco inne.
Pamiętaj również, że w niektórych systemach, takich jak HBase, nie ma koncepcji indeksowania (mam zamiar mieć konfigurację indeksowania plików w tym magazynie dokumentów systemu Windows FS). Wszystkie twoje indeksy będą musiały zostać zbudowane według logiki aplikacji, a wszelkie aktualizacje i usuwanie będą musiały być zarządzane jako takie. Dzięki Mongo możesz tworzyć indeksy na polach i stosunkowo szybko je wyszukiwać, istnieje również możliwość integracji Solr z Mongo. Nie musisz pytać o identyfikator w Mongo, tak jak w HBase, która jest rodziną kolumn (inaczej baza danych Google BigTable), w której zasadniczo masz zagnieżdżone pary klucz-wartość.
Po raz kolejny dochodzimy do danych użytkownika, tego, co chcemy przechowywać, sposobu jego przechowywania i, co najważniejsze, sposobu uzyskania do niego dostępu. Projekt Lily wygląda obiecująco. W pracy, z którą się angażuję, pobieramy dużą ilość danych z internetu, przechowujemy je, analizujemy, rozbierając, parsujemy, analizujemy, przesyłamy strumieniowo, aktualizujemy itp. Nie używamy tylko jednego systemu, ale wiele które najlepiej pasują do wykonywanej pracy. Do tego procesu używamy różnych systemów na różnych etapach, ponieważ daje nam szybki dostęp tam, gdzie jest potrzebny, zapewnia możliwość przesyłania strumieniowego i analizowania danych w czasie rzeczywistym i co ważne, śledzenie wszystkiego w trakcie naszej podróży (jak utrata danych w prod. system to wielka sprawa). Używam Hadoop, HBase, Hive, MongoDB, Solr, MySQL, a nawet dobrych starych plików tekstowych. Pamiętaj, że do produkcji systemu wykorzystującego te technologie jest trochę trudniej niż instalacja Oracle na serwerze, niektóre wydania nie są tak stabilne i naprawdę musisz najpierw wykonać test.Pod koniec dnia zależy to od poziomu oporu biznesowego i krytycznego charakteru systemu.
Inna droga, że nikt dotąd nie wspomniał jest NewSQL - czyli poziomo skalowalne RDBMSs ... Istnieje kilka tam jak klaster MySQL (chyba) i VoltDB które mogą spełnić swoje cause.But ponownie w zależności od danych (czy pliki to dokumenty lub dokumenty tekstowe z informacją o produktach, fakturach lub instrumentach lub czymś) ...
Znów chodzi o zrozumienie danych i wzorców dostępu, systemy NoSQL są również niezwiązane, tzn. nierelacyjne i są tam dla lepszego dopasowania do nierelacyjnych zestawów danych. Jeśli twoje dane są z natury relacyjne i potrzebujesz pewnych funkcji zapytań SQL, które naprawdę muszą robić takie rzeczy jak produkty kartezjańskie (również łączenia), być może lepiej będzie trzymać się Oracle i zainwestować trochę czasu w indeksowanie, dzielenie i dostrajanie wydajności.
Moja rada brzmiałaby tak, że można grać z kilkoma różnymi systemami. Patrzeć na;
MongoDB - Dokument - CP
CouchDB - Dokument - AP
Cassandra - kolumna Family - Dostępne & Partition tolerancyjny (AP)
VoltDB - Naprawdę dobrze wyglądający produkt, baza relacji, która jest rozprowadzana i może działać dla twojej sprawy (może być łatwiejszy do zrobienia) ve). Wydają się również zapewniać wsparcie dla przedsiębiorstw, które może być bardziej odpowiednie dla prod env (tj. Zapewniać użytkownikom biznesowym poczucie bezpieczeństwa).
Jakikolwiek sposób to jest mój 2c. Zabawa z systemami to jedyny sposób, aby dowiedzieć się, co naprawdę działa w twoim przypadku.
Jestem ciekawy, jakie korzyści widzisz w Hadoop dla tego zastosowania. – Bill
@Msdnexpert: jakiej funkcji szukasz? Prosta wspólna pamięć masowa? HDFS/Hadoop nie jest siecią SAN. Więcej szczegółów, proszę. –
Tak. Im zamierzam wykorzystać HDFS jako rozproszony, skalowalny system pamięci masowej. Czy to jest możliwe? – Msdnexpert