Używanie Spark Kernel na Jupyter

Question

Więc dopiero zaczynam z Jowerem i pomysłem na zeszyty.

Zwykle programuję w VIM i terminalu, więc wciąż próbuję rozgryźć coś.

Próbuję użyć jądra Toree.

Próbuję zainstalować jądro, które jest w stanie wykonać iskrę i natknąłem się na Toree. Zainstalowałem toree i pojawia się, gdy uruchamiam listę jądra. Oto wynik:

$ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\jupyter\kernels\toree

---

Więc kiedy otworzyć notatnik toree, jądro umiera i nie zostanie ponownie uruchomiony. Zamknięcie notebooka i jego ponowne otwarcie powoduje, że jądro zmienia się na Python3.

Istnieje duży komunikat o błędzie, który zostanie wydrukowany na terminalu hosta i komunikat o błędzie notebooka. Jest jeszcze jedno stanowisko, które zostało zawieszone; są to te same komunikaty o błędach.

Śledziłem tę stronę dla instalacji: https://github.com/apache/incubator-toree

Te instrukcje są głównie dla Linux/Mac jest wyświetlany.

Jakieś przemyślenia na temat tego, jak zdobyć iskrzący notes na Juwafferze?

Rozumiem, że nie ma tu zbyt wielu informacji, jeśli potrzeba więcej. Daj mi znać.

Answer 1

Zamieściłem podobne pytanie do Gitter i oni odpowiedzieli mówiąc (parafrazując), że:

Toree jest przyszłość programowania zapłonowej Jupyter i pojawi się poprawnie zainstalowany na komputerze z systemem Windows, ale i .jar. Pliki sh nie będą działać poprawnie na komputerze z systemem Windows.

Wiedząc to, wypróbowałem to na moim Linuksie (Fedora) i pożyczonym Macu. Po zainstalowaniu jowerty (i Anacondy) wprowadziłem następujące polecenia:

$ SparkHome="~/spark/spark1.5.5-bin.hadoop2.6" 
$ sudo pip install toree 
Password: ********** 
$ sudo jupyter toree install --spark_home=$SparkHome 

Jupyter prowadził notatnik na obu maszynach. Zakładam, że VM również może działać. Chcę sprawdzić, czy powłoka 10 powłoki basha również będzie działać z tym, ponieważ korzystam z systemu Windows 7.

Dzięki za inne dokumenty!

Answer 2

Odpowiedź od @ user3025281 również rozwiązała problem. Musiałem dokonać następującej korekty dla mojego środowiska (dystrybucja Ubuntu 16.04 Linux z Spark 2.2.0 i Hadoop 2.7). Pliki do pobrania to bezpośrednie pobieranie plików z witryn hostingowych lub witryny lustrzanej.

Będziesz głównie konfigurował zmienne środowiskowe, a następnie dzwoni do jupytera, zakładając, że został zainstalowany przez anakondę. to dość dużo to

SPARK_HOME="~/spark/spark-2.2.0-bin-hadoop2.7" 

napisać to do pliku ~/.bashrc a następnie zadzwonić źródła na `.bashrc

# reload environment variables 
source ~/.bashrc` 

Install

sudo pip install toree 
sudo jupyter toree install --spark_home=$SPARK_HOME 

i teraz .... my Gucci

Opcjonalnie: W systemie Windows 10, można użyć "Bash na Ubuntu na Windows" dla konfigurowanie jupytera na dystrybucji linuxowej