IDE do pisania i uruchamiania zadań hadoop?

Question

Niedawno zacząłem uczyć się podstaw map Hadoop - zmniejszyć programowanie w Javie. Jak dotąd jedynym sposobem, jaki znalazłem, było napisanie kodu w pliku za pomocą vi lub emacs, co wydaje się okropne, prymitywne i bardzo bolesne.

Czy istnieje IDE do pisania, kompilowania i uruchamiania programów Hadoop?

Answer 1

Należy również sprawdzić IntelliJ IDEA, ponieważ strony wiki Apache Hadoop zawierają instrukcje dotyczące konfiguracji środowiska programistycznego za jego pomocą.

Referencje:

http://www.jetbrains.com/idea/

http://wiki.apache.org/hadoop/HadoopUnderIDEA

Answer 2

Użyj Eclipse. Cloudera ma świetny screencast here do konfiguracji Eclipse do rozwoju hadoopów. Również debugowanie pracy hadoop lokalnie jest całkiem fajne przy użyciu Eclipse (choć nie trywialne). Aby dowiedzieć się więcej na ten temat, zobacz here.

Answer 3

Here to blog do debugowania/tworzenia aplikacji Hadoop w środowisku Eclipse/Linux. Sprawdź także Karmasphere Studio.

Answer 4

Tak, to jest możliwe do uruchomienia zadania mapreduce w Eclipse. Jest wiele różnic w działaniu programów MapReduce na klastrze iw Eclipse. Poniżej znajdują się kilka punktów, warto zauważyć:

• W Eclipse, że działa on w specjalny tryb zwany: Tryb LocalJobRunner czyli wszystkie demony Hadoop są prowadzone w pojedynczym JVM.
• W środowisku Eclipse wszystkie ścieżki odnoszą się do lokalnych ścieżek plików, a nie do ścieżki HDFS.