21
Google Dremel to described here. Jaka jest różnica między Dremel i Mapreduce?Co to jest Google Dremel? Czym różni się od Mapreduce?
A
Odpowiedz
16
Sprawdź to article na zewnątrz. Dremel jest tym, czym powinna być przyszłość (i będzie) przyszłości.
Głównym problemem MapReduce i rozwiązań na nim, takich jak Pig, Hive itp., Jest to, że mają one nieodłączne opóźnienie między uruchomieniem pracy i otrzymaniem odpowiedzi. Dremel wykorzystuje całkowicie nowe podejście (ukazał się w 2010 roku w tym dokumencie przez Google), który ...
... wykorzystuje nowy silnik wykonywania zapytań opartych na drzewach agregator ...
. Aby uruchomić prawie w czasie rzeczywistym, interaktywne ORAZ adhoc kwerendy, z których obie nie może MapReduce. A Pig and Hive nie są w czasie rzeczywistym
Powinieneś mieć na uwadze nadchodzące projects. Dla mnie też jest całkiem nowy ... więc wszelkie inne komentarze ekspertów są mile widziane!
Edit: Dremel to, co w przyszłości HIVE (a nie mapreduce jak wspomniałem wcześniej) powinno być. Hive zapewnia teraz interfejs podobny do SQL do uruchamiania zadań MapReduce. Ula ma bardzo duże opóźnienie i dlatego nie jest praktyczna w analizie danych ad-hoc. Dremel zapewnia bardzo szybki interfejs SQL do danych przy użyciu innej techniki niż MapReduce.
3
MapReduce to abstrakcyjny algorytm podziału problemu, jego dystrybucji i łączenia wyników. Dremel wydaje się być specyficznym narzędziem do wysyłania zapytań i analizowania zbiorów danych.
34
Dremel i MapReduce nie są bezpośrednio porównywalne, ale są raczej komplementarnymi technologiami.
MapReduce nie jest specjalnie zaprojektowany do analizowania danych - jest to raczej platforma programowa, która umożliwia zbieranie węzłów w celu rozwiązywania problemów związanych z rozproszonymi obliczeniami w przypadku dużych zestawów danych.
Dremel to narzędzie do analizy danych zaprojektowane do szybkiego uruchamiania zapytań dotyczących ogromnych, uporządkowanych zbiorów danych (takich jak pliki dziennika lub zdarzeń). Obsługuje składnię podobną do SQL, ale oprócz załączników do tabel jest tylko do odczytu. Nie obsługuje aktualizacji ani funkcji tworzenia, ani nie zawiera indeksów tabel. Dane są zorganizowane w formacie "kolumnowym", co przyczynia się do bardzo dużej prędkości zapytań. Produkt BigQuery firmy Google jest implementacją Dremel dostępną poprzez RESTful API.
Hadoop (open source implementacja MapReduce) w połączeniu z oprogramowaniem hurtowni danych "Hive", umożliwia również analizę danych pod kątem ogromnych zestawów danych przy użyciu składni w stylu SQL. Hive zasadniczo zamienia kwerendy w funkcje MapReduce. W przeciwieństwie do używania formatu ColumIO, Hive próbuje szybko tworzyć zapytania za pomocą takich technik, jak indeksowanie tabel.
+1
btw, wejście jest tylko do odczytu, ale można zmaterializować wyjściowe zapytania Dremel do przyszłego ponownego wykorzystania –
Powiązane problemy
- 1. Co to jest glom ?. Czym różni się od mapPartitions?
- 2. czym jest ścieżka //, czym różni się od/
- 3. Czym różni się Rakietowy od Planu?
- 4. Czym różni się ArrayListMultimap od LinkedListMultimap?
- 5. Czym różni się aplikacja Facebook od karty?
- 6. Czym różni się LinkedBlockingQueue od ConcurrentLinkedQueue?
- 7. Co robi flash.discard? Czym się różni od flash.clear()?
- 8. Czym różni się adapter od interfejsu sieciowego?
- 9. Czym różni się insmod od modprobe?
- 10. Czym różni się okno od siebie?
- 11. Co robi jQuery .focus (1)? Czym różni się od .focus()?
- 12. Co to jest plik Dockerfile.dev i czym różni się on od Dockerfile
- 13. Czym różni się żądanie wyciągnięcia od oddziału?
- 14. czym różni się InternalResourceViewResolver od UrlBasedViewResolver
- 15. Czym różni się <<?
- 16. Co to jest proces kthreadd i dzieci i jak to się różni od init i dzieci
- 17. Czym różni się rem od em w CSS?
- 18. Czym różni się Clojure STM od Haskell STM?
- 19. Czym różni się ccScaleBy od ccScaleTo w cocos2d?
- 20. Czym różni się HawtDispatch od Executorów Java? (i netty)
- 21. Czym różni się JSON.NET DataContractJsonSerializer od serializatora Newtonsoft JSON
- 22. Czym różni się EST strefy czasowej od EST5EDT?
- 23. Czym różni się @ {push} od @ {u} lub oddziału śledzenia?
- 24. Portal Liferay: Czym różni się od Websphere Portal
- 25. Czym różni się serwer Ambari Apache od agenta
- 26. Czym różni się prowizja od bin/rake i grab exec
- 27. Czym różni się "origin master" od "origin/master"
- 28. Czym różni się metoda rozszerzenia od metody statycznej?
- 29. Raven DB: Czym różni się "przemytnik" od "Import/Export"?
- 30. AFNetworking 3.x Czym różni się AFHTTPSessionManager od AFURLSessionManager?
OK, ale co z oprogramowaniem Storm? – kirugan
Chciałbyś dodać do powyższych szczegółów, spójrz na Apache Drill, która jest implementacją Open Source Dremel firmy Google. –