Obserwator plików HDFS

Question

Czy mogę obserwować plik na HDFS?

Scenariusz: Pliki są lądowania na HDFS continuously.I chcą rozpocząć Spark Job gdy liczba plików osiągnęła próg (może to być liczba plików lub rozmiar plików).

Czy można zaimplementować śledzenie plików w HDFS, aby to osiągnąć. Jeśli tak, to czy ktoś może zaproponować sposób, aby to zrobić? Jakie są dostępne opcje? Czy Zookeeper lub Oozie mogą to zrobić?

Każda pomoc zostanie doceniona. Dzięki.

Answer 1

Hadoop 2.6 wprowadził DFSInotifyEventInputStream, którego można użyć do tego. Możesz pobrać jego instancję od HdfsAdmin, a następnie zadzwoń pod numer .take() lub .poll(), aby uzyskać wszystkie zdarzenia. Typy zdarzeń obejmują usuwanie, dołączanie i tworzenie, które powinny obejmować to, czego szukasz.

Oto podstawowy przykład. Upewnij się, że uruchamiasz go jako użytkownik hdfs, ponieważ interfejs administratora wymaga rootu HDFS.

public static void main(String[] args) throws IOException, InterruptedException, MissingEventsException 
{ 
    HdfsAdmin admin = new HdfsAdmin(URI.create(args[0]), new Configuration()); 
    DFSInotifyEventInputStream eventStream = admin.getInotifyEventStream(); 
    while(true) { 
     EventBatch events = eventStream.take(); 
     for(Event event : events.getEvents()) { 
      System.out.println("event type = " + event.getEventType()); 
      switch(event.getEventType()) { 
       case CREATE: 
        CreateEvent createEvent = (CreateEvent) event; 
        System.out.println(" path = " + createEvent.getPath()); 
        break; 
       default: 
        break; 
      } 
     } 
    } 
} 

Oto blogu, że obejmuje ją bardziej szczegółowo:

http://johnjianfang.blogspot.com/2015/03/hdfs-6634-inotify-in-hdfs.html?m=1

Answer 2

Tak, można to zrobić z Inotification. Po prostu musisz uzyskać szczegóły transakcji HDFS poprzez inotifyier, aby uzyskać lepsze zrozumienie przeczytaj ten link.

Answer 3

Oozie koordynator może to zrobić. Działania koordynatora Oozie mogą być uruchamiane na podstawie dostępności danych. Napisz koordynatora z wyzwalaczem danych. Działania koordynatora są uruchamiane w oparciu o zakończoną flagę. done-flag to nic innego jak pusty plik. Kiedy osiągniesz próg, napisz pusty plik do katalogu.