Jakie są zalety ustawienia "hive.exec.parallel" na false w Hive?

Question

poznałem, że gdy hive.exec.parallel jest ustawiona na wartość true w chrząszcza I.E

set hive.exec.parallel=true; 

następnie niezależne zadania w zapytaniu może działać równolegle.

Dzięki Qubole dla tego:

czy są jakieś zalety ustawienie tego parametru na fałszywe? Będę tu sprawdzał: Oczywiście, gdy tylko jest to możliwe, chciałbyś działać równolegle i mieć większą przepustowość. Dlaczego ktoś ustawiłby ten parametr na false - czy są jakieś wady?

Answer 1

Jest to po prostu parametr, ponieważ po jego wprowadzeniu nie było jasne, jak stabilny będzie, więc powinieneś być w stanie go wyłączyć. Gdy wystarczająca liczba osób spróbuje go i stwierdzi, że jest stabilny, ustawienie domyślne zmieniło się na prawdziwe: https://issues.apache.org/jira/browse/HIVE-1033

Obecnie nie ma realnej wady.

Answer 2

Z mojego doświadczenia wynika, że ​​jedyną wadą jest zużycie zasobów. Jeśli masz ograniczone zasoby, ogólnie lepiej jest mieć zapytania uruchamiane seryjnie. Gdy zapytania są uruchamiane równolegle, jedno zapytanie może zarządzać wieloma zadaniami w tym samym czasie, co może zagłodzić klastry zasobów. Jeśli nie potrzebujesz prędkości i klastra z dużym obciążeniem, ogólnie rzecz biorąc lepiej pozwolić na uruchamianie zadań seryjnych.

Answer 3

Mayank, Ta właściwość ma również zalety z pewnym stanem gwiazdy. Chcę powiedzieć, że Hive ma funkcję blokowania baz danych, podczas gdy wiele zapytań jest uruchamianych w tej bazie danych.

Na przykład -
masz skomplikowany kwerendy z wielu etapów uruchomionych na jednej bazie danych, gdzie nieruchomość równoległy może zwiększyć efektywność ale również tworzyć „LOCK” na bazę danych, która może zatrzymać inne procesy które są uruchomione w tej samej bazie danych dla czasu z jej własnej realizacji.

Niedawno w obliczu tego problemu i rozwiązać poprzez tę właściwość „FAŁSZ”.
Mam nadzieję, że ta odpowiedź może pomóc w zrozumieniu, w jakim scenariuszu popełniliśmy błąd.