Na Spark 2,1 docs to wspomniano, żepomocą Scala 2.12 iskry 2,1
zapłonowa działa na Java 7+, Python 2,6 +/3,4 + R 3.1+. W przypadku interfejsu API Scala Spark 2.1.0 używa Scala 2.11. Będziesz musiał użyć kompatybilnej wersji Scala (2.11.x).
w Scala 2,12 release news to również wspomnieć, że:
Chociaż Scala 2.11 i 2.12 są głównie źródłem kompatybilny ułatwienie przekrój budynku, nie są binarnie kompatybilny. To pozwala nam ciągle ulepszać kompilator Scali i bibliotekę standardową.
Ale kiedy buduję słoik uber (używając scala 2.12) i uruchamiam go na iskrze 2.1. wszystko działa dobrze.
i wiem, że nie jest to żadne oficjalne źródło, ale pod numerem 47 degree blog wspomniano, że iskra 2.1 obsługuje scala 2.12.
jak można wyjaśnić te (konflikty?) Spokój informacji?
Istnieje formalna różnica, tj. "Wspieramy tę wersję, przetestowaliśmy ją, a jeśli masz problemy, to jest to błąd po naszej stronie" * vs. * "zrób to po swojemu, eksperymentuj, jeśli chcesz, ale jeśli masz problemy, nie wracaj marudząc "*. –
tak, ale jak to działa, jeśli scala 2.11 nie jest binarnie zgodna z 2.12? – NetanelRabinowitz
Nie kompatybilny oznacza, że istnieje co najmniej 1 problem. Może być w porządku dla 99,99% wywołań interfejsu API. Ile testowałeś w swoim niestandardowym Uber-JAR? Może 15%? –