Zbudowałem Spark 1.4 z mastera programistycznego GH i kompilacja przebiegła bez zarzutu. Ale kiedy robię bin/pyspark otrzymuję wersję Python 2.7.9. Jak mogę to zmienić?Apache Spark: Jak używać pysparka z Pythonem 3
Zajrzyj do pliku. Linia shebang jest prawdopodobnie wskazywana przez plik binarny "env", który przeszukuje ścieżkę pierwszego zgodnego pliku wykonywalnego.
Możesz zmienić python na python3. Zmień env na bezpośrednie użycie hardcoded binarnego python3. Lub wykonaj binarnie bezpośrednio z python3 i pomiń linię shebang.
Tak, pomoc w pliku. Potrzebny do ustawienia zmiennej środowiskowej 'PYSPARK_PYTHON'. – tchakravarty
PYSPARK_PYTHON=python3 ./bin/pyspark
Jeśli chcesz uruchomić w w ipython Notebook, napisz:
PYSPARK_PYTHON=python3 PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark
Jeśli python3 nie jest dostępny, trzeba przejść do niego ścieżkę zamiast.
Należy pamiętać, że current documentation (as of 1.4.1) ma przestarzałe instrukcje. Na szczęście it has been patched.
Wydaje mi się, że twoja komenda dla Notatnika IPython jest niepoprawna. Powinny być takie: PYSPARK_PYTHON = python3 PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS = "notebook" ./bin/pyspark – SpiderRico
@ChrisNielsen W terminalu. –
@ChrisNielsen W systemie Linux lub OS X jest terminalem/konsolą. Nie mam pojęcia, jak to działa w systemie Windows (w Windows użyłem Sparka tylko na kontenerze Docker). –
Wystarczy ustawić zmienną środowiskową:
export PYSPARK_PYTHON=python3
w przypadku, gdy chcesz, że jest to trwała zmiana dodać tę linię do pyspark skrypt.
1, profil edit: vim ~/.profile
2, dodać kod do pliku: export PYSPARK_PYTHON=python3
3, wykonanie polecenia: source ~/.profile
4, ./bin/pyspark
Dla każdego, kto szuka sposobu zrób to: 'PYSPARK_DRIVER_PYTHON = ipython3 PYSPARK_DRIVER_PYTHON_OPTS =" notebook "./bin/pyspark', w którym to przypadku działa notatnik IPython 3. – tchakravarty