Apache Spark vs Apache Spark 2

Question

Jakie ulepszenia oferuje Apache Spark2 w porównaniu do Apache Spark?

1. Od architektury perspektywy
2. Z punktu widzenia aplikacji
3. lub więcej

Answer 1

Apache Spark 2.0.0 API Przebywałem w dużej mierze podobna do 1.x Spark 2.0 0,0 ma API łamanie zmienia

Spark Apache 2.0.0 to pierwsze wydanie z linii 2.x. Najważniejsze aktualizacje to: użyteczność interfejsu API , obsługa SQL 2003, ulepszenia wydajności, strumieniowanie strukturalne, obsługa R UDF, a także usprawnienia operacyjne.

nowego w iskrą 2:

• Największą zmianą, że widzę to, że zestawy danych i DataFrame API zostaną połączone.
• Najnowsza i najlepsza ze Spark będzie dużo wydajniejsza w porównaniu do poprzedników. Spark 2.0 skupi się na połączeniu parkietu i buforowania, aby uzyskać jeszcze lepszą wydajność.
• Strukturalne przesyłanie strumieniowe to kolejna wielka rzecz!
• Będzie to pierwsza wersja, która będzie koncentrować się na ETL.Wersje kolejne doda więcej operatorów i bibliotek dla ETL

Można przejść przez Spark release 2.0.0 gdzie są wyjaśnione aktualizacje w następujących punktach:

• API Stabilność
• Rdzeń i Spark SQL
• MLlib
• SparkR
• Przesyłanie strumieniowe
• Zależność, pakowania i Operations
• przeprowadzki, zmiany zachowań i Deprecations
• Znane problemy

Answer 2

Nie ma dużej różnicy w odniesieniu do architektury, jak łupina orzecha jest jeszcze DAG i RDD, który jest najbardziej ważna część tego!

Chociaż Spark 2.0 jest o wiele bardziej zoptymalizowany i ma DataSet Api, który daje o wiele więcej mocy dla deweloperów. Powiedziałbym, że architektura jest taka sama, to tylko Spark 2.0 zapewnia dużo zoptymalizowany i ma bogaty zestaw Api!

Są to główne rzeczy, które są świadczone przez Apache Spark 2.0:

• Największą zmianą, że widzę to, że zestawy danych i DataFrame API zostaną połączone.
• Najnowszym i największym produktem Spark będzie cała seria wydajna w porównaniu do poprzedników. Spark 2.0 zamierza skupić się na połączeniu parkietu i buforowania, aby uzyskać jeszcze lepszą przepustowość.
• Strukturalne przesyłanie strumieniowe to kolejna wielka rzecz!
• Pierwsza wersja, która będzie koncentrować się na ETL, będzie pierwszą wersją . Kolejne wersje będą dodać więcej operatorów i bibliotek dla ETL

Aby uzyskać więcej informacji prosimy wziąć lok tutaj: https://www.quora.com/What-are-special-features-and-advantages-of-Apache-Spark-2-0-over-earlier-versions