Jak wykonać połączenie w przepływie danych?

Question

Próbuję wykonać operację związaną z przepływem danych. Czy istnieje przykładowy kod do łączenia dwóch PCollections w Dataflow?

Answer 1

Prostym sposobem na zrobienie tego byłoby połączenie Flatten() z RemoveDuplicates() w taki sposób. W zależności od tego, czy chcesz unię odłączony lub set-teoretyczną unię, wywołanie RemoveDuplicates można pominąć:

PCollection<String> pc1 = ...; 
PCollection<String> pc2 = ...; 
PCollection<String> union = PCollectionList.of(pc1).and(pc2) 
    .apply(Flatten.<String>create()) 
    .apply(RemoveDuplicates.<String>create()); 

Answer 2

Jeśli masz więcej niż dwie kolekcje, wygodnym rozwiązaniem jest, aby wypełnić listę PCollection, zrób PCollectionList na podstawie tego i Spłaszczenia:

Mam nadzieję, że to pomoże.