Jak określić ścieżkę, w której zapisuje pliki plik saveAsTable?

Question

Próbuję zapisać DataFrame do S3 w pyspark w Spark1.4 użyciu DataFrameWriter

df = sqlContext.read.format("json").load("s3a://somefile") 
df_writer = pyspark.sql.DataFrameWriter(df) 
df_writer.partitionBy('col1')\ 
     .saveAsTable('test_table', format='parquet', mode='overwrite') 

Pliki parkiet poszedł „/ tmp/ula/magazyn/....”, który jest lokalnym katalogu tmp na moim kierowcy.

Instalowałem plik hive.metastore.warehouse.dir w pliku hive-site.xml do lokalizacji "s3a: // ....", ale iskra nie wydaje się być zgodna z ustawieniami mojego magazynu ula.

Answer 1

Użyj path.

df_writer.partitionBy('col1')\ 
     .saveAsTable('test_table', format='parquet', mode='overwrite', 
         path='s3a://bucket/foo') 

Answer 2

można użyć insertInto(tablename) nadpisać istniejącą tabelę od 1.4