Czy można uruchomić zadanie hadoop bez określania pliku wyjściowego? Kiedy próbuję uruchomić zadanie hadoop, nie podano żadnego pliku wyjściowego wyjątku. może ktoś podać dowolną procedurę, aby to zrobić za pomocą Java.Uruchamianie zadania Hadoop bez pliku wyjściowego
Piszę dane przetworzone przez zredukowanie do nierelacyjnej bazy danych, więc nie muszę już pisać do HDFS.
Niestety, tak naprawdę nie można tego zrobić. Pisanie wyników jest częścią struktury. Kiedy pracujesz poza ramami, musisz po prostu poradzić sobie z konsekwencjami.
Możesz użyć NullOutputFormat, która nie zapisuje żadnych danych do HDFS. Myślę, że nadal tworzy folder. Zawsze możesz pozwolić, aby Hadoop utworzył folder, a następnie delete it.
FYI NullOutputFormat nie wymaga zdefiniowania folderu wyjściowego, więc powinien dać ci to, czego potrzebujesz –
Musisz podać więcej informacji o tym, co próbujesz i co próbujesz zrobić. Jaki jest cel prowadzenia twojej pracy MR? Aby było sensowne, będzie produkować coś w rodzaju wyjścia. Dokąd to zmierza? Oczywiście nie HDFS. Czy idzie na HBase lub jakiś zewnętrzny sklep lub usługę? –
Przepraszam, zaktualizowałem moje pytanie. – R45c4l