Zarządzanie hdfs w trybie pseudo-rozproszonego trybu pojedynczego

Chcę wykonać pewne obliczenia z hadoop i mahout na moim czterordzeniowym komputerze, więc używam hadoop w trybie pseudo-rozproszonym.Zarządzanie hdfs w trybie pseudo-rozproszonego trybu pojedynczego

Problem polega na tym, że miejsce w moim katalogu głównym jest ograniczone, więc w jaki sposób mogę go skonfigurować do korzystania z przestrzeni dostępnej na innym zewnętrznym dysku twardym.

Źródło

2011-02-07 Pankaj

Możesz skonfigurować, gdzie hdfs zbija swoje dane. Dodaj następujące do conf/HDFS-site.xml:

<property> 
    <name>dfs.data.dir</name> 
    <value>__path_to_where_you_want_to_store_your_data/hdfs/data/</value> 
</property> 
<property> 
    <name>dfs.name.dir</name> 
    <value>__path_to_where_you_want_to_store_your_data/hdfs/name/</value> 
</property>

Po theese zmienia trzeba będzie sformatować namenode:

hadoop namenode -format

Źródło

2011-02-07 14:40:53

ale Hadoop nie rozpocznie się po tym. Utrzymuje pokazując, że namenode jest w trybie awaryjnym – Pankaj

być może również skonfigurować dir dfs.name: dfs.name.dir /Users/Helmut/programmieren/HDFS/nazwa/ DFS .data.dir i dfs.name.dir powinny wskazywać lokalizację na dysku zewnętrznym. Po zmianie tych wartości ponownie sformatuj system plików hdfs za pomocą 'hadoop namenode -format' –

Po wykonaniu' hadoop-namenode -format', konieczne jest usunięcie czegokolwiek w pliku dfs.name.dir – Leons

Zarządzanie hdfs w trybie pseudo-rozproszonego trybu pojedynczego

Odpowiedz

Powiązane problemy