Gdzie hive przechowuje swój stół?

Question

Jestem nowy w Hadoop i właśnie zacząłem pracować nad Hive, rozumiem, że zapewnia on język zapytań do przetwarzania danych w HDFS. Dzięki HiveQl możemy tworzyć tabele i ładować do niego dane z HDFS.

Moje pytanie brzmi: gdzie są przechowywane te tabele? W szczególności, jeśli mamy plik 100 GB w naszym HDFS i chcemy utworzyć tabelę ula z tych danych, jaki będzie rozmiar tej tabeli i gdzie jest przechowywany?

Jeśli moje zrozumienie o tej koncepcji jest źle proszę mnie poprawić ..

Answer 1

Jeśli tabela jest 100GB należy rozważyć Hive zewnętrznego tabeli (w przeciwieństwie do „udało stołu”, różnicy, patrz this) .

W przypadku zewnętrznej tabeli dane będą nadal przechowywane w HDFS w określonej ścieżce pliku (należy pamiętać, że można podać katalog plików, o ile wszystkie mają taką samą strukturę), ale Hive utworzy jego mapę w metaparku, podczas gdy zarządzana tabela będzie przechowywać dane "w ulu".

Po upuszczeniu zarządzanej tabeli dane podstawowe są usuwane, a nie upuszczane zewnętrzne tablice ul, które tylko opuszczają metadane z metawokształu odwołującego się do tych danych.

W obu przypadkach zużywasz tylko 100 GB w trybie wyświetlania przez użytkownika i korzystasz z niezawodności HDFS poprzez powielanie danych.

Answer 2

ula utworzy katalog na hdfs.if nie określiłeś żadnej lokalizacji, utworzy katalog/user/hive/folder magazynowy na hdfs.after polecenia load pliki przeniesione do folderu/warehouse/tablename.you może również wskazywać folder hdfs, jeśli zawiera partycje (jeśli pliki są partycjonowane) lub użyć zewnętrznej koncepcji tabeli.