Spark - jak pominąć lub zignorować puste pliki gzip podczas czytania

Question

Mam kilkaset folderów z kilkoma tysiącami spakowanych plików tekstowych w s3 i próbuję je odczytać w ramce danych z spark.read.csv().

Wśród plików, istnieją pewne z zerowej długości, w wyniku błędu:

java.io.EOFException: Unexpected end of input stream

Kod:

df = spark.read.csv('s3n://my-bucket/folder*/logfiles*.log.gz',sep='\t',schema=schema) 

Próbowałem ustawienie mode do DROPMALFORMED i czytanie z sc.textFile() ale brak szczęścia.

Jaki jest najlepszy sposób obsługi pustych lub uszkodzonych plików gzip?

Answer 1

Począwszy od Spark 2.1 można zignorować uszkodzone pliki, włączając opcję spark.sql.files.ignoreCorruptFiles. Dodaj to do swojej komendy spark-submit lub pyspark:

--conf spark.sql.files.ignoreCorruptFiles=true