Zależności Mavena dla Hadoop: MiniDFSCluster i MiniMRCluster

Question

Chcę zaimplementować projekt maven, który pomoże mi przetestować zadanie Hadoop MapReduce. Moim największym problemem jest zdefiniowanie zależności Mavena, aby móc korzystać z klas testowych: MiniDFSCluster & MiniMRCluster.

Używam Hadoop 2.4.1. Jakieś pomysły?

Answer 1

Zgaduję, że to wymyśliłem. W pliku pom Maven, najpierw dodać nowe repozytorium:

<repositories> 
    <repository> 
     <id>cloudera</id> 
     <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url> 
    </repository> 
</repositories> 

następnie dodaj następującą do swoich zależnościach projektowych

<dependency> 
    <groupId>commons-io</groupId> 
    <artifactId>commons-io</artifactId> 
    <version>2.1</version> 
</dependency> 
<dependency> 
    <groupId>junit</groupId> 
    <artifactId>junit</artifactId> 
    <version>4.11</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-auth</artifactId> 
    <version>2.0.0-cdh4.3.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-test</artifactId> 
    <version>2.0.0-mr1-cdh4.3.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-hdfs</artifactId> 
    <version>2.0.0-cdh4.3.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-hdfs</artifactId> 
    <version>2.0.0-cdh4.3.0</version> 
    <classifier>tests</classifier> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.0.0-cdh4.3.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.0.0-cdh4.3.0</version> 
    <classifier>tests</classifier> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-core</artifactId> 
    <version>2.0.0-mr1-cdh4.3.0</version> 
</dependency> 

w przypadku gdy ktoś jest zainteresowany, aby cały projekt (test urządzenia po słynny WordCount MapReduce praca, jestem gotów, aby go udostępnić)

Answer 2

W przypadku gdy ktoś inny jest nadal searchinf na odpowiedź:

MiniMRCluster jest teraz przestarzała.

Można uzyskać MiniDFSCluster i MiniMRCluster w zależności (pokazanej na Gradle)

compile group: 'org.apache.hadoop', name: 'hadoop-minicluster', version: '2.7.2' 

zależność jest w zasadzie tylko plik POM, które wymienia się zależności w tym pakiecie. Dla tych, którzy chcą wyglądać to w górę, to w MiniDFSCluster artefaktu hadoop-hdfs:tests

Nie trzeba korzystać z zależnościami z repozytorium Cloudera