Spark Kontekst nie jest tworzony automatycznie w Scala Spark Shell

Question

czytałem w książce Spark:

Programy Sterowniki dostępu Spark za pośrednictwem obiektu SparkContext, co stanowi połączenia do klastra obliczeniowego. W powłoce obiekt SparkContext jest automatycznie tworzony dla Ciebie jako zmienna o nazwie sc. Spróbuj drukować na sc, aby zobaczyć jego typ

Sc

Kiedy wchodzę sc, to daje mi wartość błędu 20 nie sc znaleźć. Każdy pomysł, dlaczego sc nie jest automatycznie tworzony w mojej powłoce iskry scala?

Próbuję ręcznie utworzyć sc i dało mi to błąd, informując, że JVM zawiera już kontekst iskry. Proszę zobaczyć pic:

http://s30.photobucket.com/user/kctestingeas1/media/No%20Spark%20Context.jpg.html

Wierzę, że jestem już w Scala skorupy iskrowym jak widać na górze mojego okna cmd wskazujący bin \ zapłonie skorupę

Proszę doradzić. Dzięki

Answer 1

Mam nadzieję, że znalazłeś odpowiedź na swoje pytanie, ponieważ napotykam również na ten sam problem.

Tym razem użyj tego obejścia. W powłoce zapłonowej scala wprowadzić:

1. importu org.apache.spark.SparkContext
2. Val SC = SparkContext.getOrCreate()

wtedy mieć dostęp do SC.