Przesyłaj dane do formatu hdf bezpośrednio, bez kopiowania.

Question

Szukam różnych opcji, za pomocą których mogę zapisywać dane bezpośrednio w hdfs przy użyciu Pythona bez przechowywania w węźle lokalnym, a następnie za pomocą copyfromlocal.

Chciałbym użyć HDFS plik podobny do lokalnego sposobu zapisu plików i korzystania z linii jako argumentu, coś z następujących czynności:

hdfs_file = hdfs.create("file_tmp") 
    hdfs_file.write("Hello world\n") 

Czy istnieje coś podobnego do przypadku zastosowania opisanego powyżej?

Answer 1

Im nie wiesz o bibliotece pyton HDFS, ale zawsze można przesyłać za pośrednictwem Hadoop fs komendy put i oznaczają kopiowanie z stdin przy użyciu „-” jako nazwy pliku źródłowego:

hadoop fs -put - /path/to/file/in/hdfs.txt