Możliwe jest uruchomienie instancji osadzonej węzła Apache Spark?

Question

Chcę uruchomić wystąpienie samodzielnego klastra Apache Spark wbudowanego w moją aplikację java. Próbowałem znaleźć dokumentację na ich stronie, ale jeszcze nie wyglądam.

Czy to możliwe?

Answer 1

Można tworzyć SparkContext w trybie lokalnym, wystarczy, aby zapewnić „local” jako głównego iskra URL do SparkConf

val sparkConf = new SparkConf(). 
    setMaster("local[2]"). 
    setAppName("MySparkApp") 

val sc = new SparkContext(sparkConf) 

Answer 2

Tak - można wykorzystać Spark w osadzonym sposób z „local” mistrz.

SparkConf sparkConf = new SparkConfig(); 
sparkConf.setMaster("local[8]"); // local, using 8 cores (you can vary the number) 
sparkConf.setAppName("MyApp"); 
SparkContext sc = new SparkContext(sparkConf); 

Spowoduje to uruchomienie Sparka wewnątrz maszyny JVM.