Czy mop może pobierać dane wejściowe z wielu katalogów i plików?

Question

Ustawiając parametr fileinputFormat jako wejście Mopop. The arg[0]+"/*/*/*" powiedział, że nie pasują pliki.

co chcę to czytać z wielu plików jak:

 
Directory1 
---Directory11 
    ---Directory111 
     --f1.txt 
     --f2.txt 
---Directory12 
Directory2 
---Directory21 

jest to możliwe w Hadoop? Dzięki!

Answer 1

Możesz pobierać dane wejściowe z wielu katalogów i plików za pomocą operatora *****. Najprawdopodobniej jest to spowodowane tym, że argument "arg [0]" nie jest poprawny i dlatego nie znajduje plików.

Jako alternatywę można również użyć metody InputFormat.addInputPath lub, jeśli potrzebne są osobne formaty lub odwzorowania, można użyć klasy MultipleInputs.

Przykład podstawowy dodając ścieżkę

FileInputFormat.addInputPath(job, myInputPath); 

Oto przykład MultipleInputs

MultipleInputs.addInputPath(job, inputPath1, TextInputFormat.class, MyMapper.class); 
MultipleInputs.addInputPath(job, inputPath2, TextInputFormat.class, MyOtherMapper.class); 

Ta druga kwestia jest bardzo podobna i ma dobre odpowiedzi, Hadoop to reduce from multiple input formats.