pliki Reading csv w zeppelin korzystające z zapłonem CSV

Question

I chcesz dowiedzieć plików csv w Zeppelin i chcieliby skorzystać zapłonie csv pakiet databricks': https://github.com/databricks/spark-csv

W zapłonowej-shell, mogę korzystać z zapłonem CSV z

spark-shell --packages com.databricks:spark-csv_2.11:1.2.0 

Ale w jaki sposób mogę powiedzieć Zeppelinowi o użyciu tej paczki?

Z góry dziękuję!

Answer 1

Musisz dodać repozytorium pakietów Spark do Zeppelina, zanim będziesz mógł użyć% dep na pakietach iskier.

%dep 
z.reset() 
z.addRepo("Spark Packages Repo").url("http://dl.bintray.com/spark-packages/maven") 
z.load("com.databricks:spark-csv_2.10:1.2.0") 

Ewentualnie, jeśli to jest coś, co chcesz dostępna we wszystkich notebookach, można dodać opcję --packages z ustawieniem zapłonie złożyć polecenie w ustnych config w Zeppelin, a następnie ponownie uruchom tłumacza. Powinno to rozpocząć kontekst z pakietem już załadowanym zgodnie z metodą powłoki iskrowej.

Answer 2

UŻYCIEM-Edit

% DEP jest przestarzała Zeppelin 0.6.0. Proszę odnieść się do odpowiedzi Paula-Armanda Verhaegena.

proszę czytać dalej w tej odpowiedzi, jeśli używasz starszej niż 0.6.0 zeppelin

END-Edit

można załadować pakiet zapłonie CSV przy użyciu% dep tłumacza.

jak,

%dep 
z.reset() 

// Add spark-csv package 
z.load("com.databricks:spark-csv_2.10:1.2.0") 

See Zależność sekcja Ładowanie w https://zeppelin.incubator.apache.org/docs/interpreter/spark.html

Jeśli już zainicjowany Spark Kontekst, szybkie rozwiązaniem jest restart Zeppelin i wykonać zeppelin paragraf z powyższym kodem, a następnie wykonać swoje iskrowy kod do odczytu pliku CSV

Answer 3

jeśli zdefiniujesz w conf/zeppelin-env.sh

export SPARK_HOME=<PATH_TO_SPARK_DIST> 

Zeppelin będzie wtedy wyglądać w $ SPARK_HOME/conf/zapłonem defaults.conf można zdefiniować słoiki tam:

spark.jars.packages    com.databricks:spark-csv_2.10:1.4.0,org.postgresql:postgresql:9.3-1102-jdbc41 

następnie spojrzeć na

http: // zepplin_url: 4040/środowisko/za:

spark.jars file:/root/.ivy2/jars/com.databricks_spark-csv_2.10-1.4.0.jar,file:/root/.ivy2/jars/org.postgresql_postgresql-9.3-1102-jdbc41.jar

spark.jars.packages com.databricks:spark-csv_2.10:1.4.0,org.postgresql:postgresql:9.3-1102-jdbc41

Dalsze odniesienia: https://zeppelin.incubator.apache.org/docs/0.5.6-incubating/interpreter/spark.html

Answer 4

1. przejdź na zakładkę tłumacz, kliknij repozytorium informacji, dodać repo i ustawić adres URL do http://dl.bintray.com/spark-packages/maven
2. Przewiń do iskra interpretera pkt i kliknij menu Edycja, zwój w dół do pola artefaktów i dodaj "com.databricks: spark-csv_2.10: 1.2.. 0" lub nowsza wersja Następnie uruchom interpreter pytany

3. w notebooku, używać coś takiego:.

   import org.apache.spark.sql.SQLContext 
   
   val sqlContext = new SQLContext(sc) 
   val df = sqlContext.read 
       .format("com.databricks.spark.csv") 
       .option("header", "true") // Use first line of all files as header 
       .option("inferSchema", "true") // Automatically infer data types 
       .load("my_data.txt") 
   

Aktualizacja:

Na liście dyskusyjnej użytkownik Zeppelin, to jest teraz (listopad 2016) podany przez Moon Soo Lee (twórca Apache Zeppelin), który użytkownicy wolą zachować% dep, ponieważ pozwala:

• Self-dokumentacja wymagania dotyczące biblioteki w notatniku;
• za załadowanie biblioteki (i możliwe na użytkownika).

Tendencja polega obecnie na utrzymaniu% dep, więc nie należy go obecnie uznawać za amortyzowaną.

Answer 5

Innym rozwiązaniem:

W conf/zeppelin-env.sh (znajduje się w/etc/zeppelin dla mnie) dodać linię:

export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0" 

następnie uruchomić usługę.