Jak usunąć nawiasy wokół rekordów, gdy saveAsTextFile na RDD [(String, Int)]?

Question

Używam saveAsTextFile(path), aby zapisać wynik jako plik tekstowy później, aby zaimportować wynik do bazy danych. Dane wyjściowe wyglądają mniej więcej tak:

(value1, value2) 

Jak usunąć nawiasy?

Answer 1

Można spróbować następujących składników, które jest bardzo proste:

rdd.map(x => x._1 + "," + x._2).saveAsTextFile(path) 

Po prostu odwzorować RDD [(A, B)] do RDD [ciąg] i zapisz go.

Answer 2

Spróbuj użyć jawnie, używając mkString, zamiast tylko bezpośrednio drukować krotkę.

Answer 3

Dla ludzi w świecie Java, oto rozwiązanie, które zaczyna się od DataFrame, konwertuje je do RDD, a następnie zapisuje wyniki. Wiersze RDD przechodzą przez funkcję mapy, która przekształca wiersz w ciąg.

public void write(DataFrame output) { 
    String path = "your_path_goes_here"; 
    output 
     .toJavaRDD() 
     .map(new BracketRemover()) 
     .saveAsTextFile(path); 
} 

protected class BracketRemover implements Function<Row, String> { 
    public String call(Row r) { 
     return r.mkString(","); 
    } 
} 

Answer 4

Przed dokonaniem saveAsTextFile Użyj map(x => x.mkString(",")

rdd.map(x => x.mkString(",").saveAsTextFile(path)

wyjście nie będzie miał wspornik.

Answer 5

RDD można zapisać za pomocą rdd.map (REC => rec.productIterator.mkString (""). SaveAsTextFile (ścieżka) Wynikowy zestaw danych nie będą mieć nawiasów.

Answer 6

Wiem, że jest oznaczony Scala, ale tylko dodać na stronie Pythona w przypadku gdy ktoś jest ciekawy. Tworzenie i zapisać jako RDD jest

rdd_of_tuples = sc.parallelize([('one',1),('two',2)]) 
rdd_of_tuples.saveAsTextFile('/user/cloudera/rdd_of_tuples') 

to uratuje wiersze tak jak wspomniałeś

('one', 1) 

Ale jeśli wykonaj następujące czynności powinno działać

rdd_of_text = rdd_of_tuples.map(lambda (x,y): x + ',' + str(y)).saveAsTextFile('/user/cloudera/rdd_of_text') 

i powinieneś dostać

one,1 

pamiętać, że w tym konkretnym przypadku trzeba zdawać sobie sprawę z typów na złączenie (sprawdź STR (y)), w przeciwnym razie uzyskasz następujący wyjątek:

TypeError: cannot concatenate 'str' and 'int' objects