Możesz to łatwo zrobić za pomocą zewnętrznych tablic Hive i dzielić swój stół według dnia. Na przykład można utworzyć tabelę jako takie:
create external table mytable(...)
partitioned by (day string)
location '/user/hive/warehouse/mytable';
To będzie zasadniczo utworzyć pusty stolik w metastore i sprawiają, że wskazują na /user/hive/warehouse/mytable.
Następnie można załadować swoje dane w tym katalogu z kluczem Format = wartość gdzie klucz jest imię i nazwisko (tutaj „dzień”) partycja i jest wartością z partycji. Na przykład:
hadoop fs -put /log/20130115 /user/hive/warehouse/mytable/day=20130115
Gdy dane są tam załadowany, to w katalogu HDFS, ale metastore Hive jeszcze nie wie, że należy on do stołu, dzięki czemu można je dodać w ten sposób:
alter table mytable add partition(day='20130115');
Powinieneś być gotowy, metastore zostanie zaktualizowany twoją nową partycją, a teraz możesz zapytać o tabelę na tej partycji.
Powinno to być trywialna do skryptu, można utworzyć zadanie cron działa raz dziennie, która będzie robić te polecenia w kolejności i znaleźć partycji, aby załadować z komendy date, na przykład ciągle robi to polecenie:
hadoop fs -test /log/`date +%Y%m%d`
i sprawdzenie, czy $? jest równe 0, powie Ci, czy plik istnieje, a jeśli tak, możesz go przenieść i dodać partycję zgodnie z powyższym opisem.
dzięki dużo, w rzeczywistości, mam kolejne pytanie, w ten sposób mogę załadować mój pliki dziennika podzielone przez daty na tabele ula, jednak mój szef poprosił mnie o znalezienie podejścia lub narzędzia do załadowania danych, co oznacza: zakładając, że istnieje pewien katalog o nazwie "/ log", ul będzie cały czas wyszukiwał ten katalog , po wygenerowaniu nowych danych, może/log/20130118,/log/20130119, gałąź automatycznie doda tę partycję i załaduje plik dziennika, taki jak/20130118 lub/20130119, do partycji tabeli, jak mogę to osiągnąć, proście o wybaczenie –
Po określeniu słowa kluczowego 'ZEWNĘTRZNE' Twoje dane nie są kopiowane gdziekolwiek i pozostają w miejscu, w którym je umieściłeś. (Kiedy nie podasz 'ZEWNĘTRZNE', Hive kopiuje dane do swojej domyślnej lokalizacji). O ile mi wiadomo, za każdym razem, gdy dodasz plik do folderu określonego przez 'LOCATION', a następnie zapytasz o tabelę, nowe dane powinny być widoczne. Minęło trochę czasu odkąd bawiłem się z Hive, więc może @Charles Menguy może to potwierdzić? – Pieterjan
Nie jestem w 100% pewny, że rozumiem, co chcesz osiągnąć, możesz edytować swoje pytanie z większą ilością szczegółów?Jeśli chcesz tylko załadować pliki do tabeli bez partycji daty, to @Pieterjan ma rację, możesz po prostu umieścić pliki w katalogu głównym tabeli w HDFS i nie musisz zmieniać tabeli, Hive wybierze bezpośrednio to. –