Jak podzielić na partycje skompresowany plik w Apache Spark?

Question

Mam tysiące skompresowanych plików o rozmiarze 2 GB w HDFS. Używam iskry do przetwarzania tych plików. Używam metody Spark textFile() do załadowania plików z HDFS. Moje pytanie brzmi: jak mogę podzielić dane na partycje, aby móc przetwarzać każdy plik równolegle. Obecnie każdy plik .gz jest przetwarzany w jednym zadaniu. Jeśli więc przetworzę 1000 plików, wykonywanych jest tylko 1000 zadań. Rozumiem, że skompresowane pliki nie mogą zostać podzielone. Ale czy jest jakaś inna metoda, dzięki której mogę szybciej wykonywać swoją pracę?

Answer 1

Możesz użyć rdd.repartition(#partitions) po załadowaniu pliku. To wiąże się z kosztem shuffle, więc musisz ocenić, czy wzrost wydajności w równoległości obejmuje ten początkowy koszt losowy.

Innym sposobem byłoby wykonanie dowolnych transformacji (mapa, filtr, ...) na początkowej partycji i użycie dowolnego etapu shuffle już istniejącego w potoku do ponownego podziału na RDD. na przykład

rdd.map().filter().flatMap().sortBy(f, numPartitions=new#ofpartitions)