jak uzyskać sąsiadów z dwoma hopami w spark-graphx?

Question

Stworzyłem ukierunkowany wykres, używając graphx.

#src->dest 
a -> b 34 
a -> c 23 
b -> e 10 
c -> d 12 
d -> c 12 
c -> d 11 

Chcę uzyskać wszystkie dwóch sąsiadów hop tak:

a -> e 44 
a -> d 34 

Mój wykres jest bardzo duża, więc chciałbym zrobić to elegancko i skutecznie. Czy ktoś ma jakieś porady na temat tego, co będzie najlepszym sposobem to zrobić na instancji wykresu?

Answer 1

Możesz zwięźle wyrazić to za pomocą biblioteki GraphFrames. Najpierw musisz dołączyć wymagany pakiet. Albowiem Spark 2.0 i Scala 2.11 można dodać

graphframes:graphframes:0.2.0-spark2.0-s_2.11 

do spark.jars.packages w conf/spark-defaults.conf lub przekazać go jako --packages argumentu spark-submit.

Następnie należy przekonwertować Graph na GraphFrame. Można użyć fromGraphX metody:

import org.graphframes.GraphFrame 
import org.apache.spark.graphx._ 

val nodes = sc.parallelize(Seq(
    (1L, "a"), (2L, "b"), (3L, "c"), (4L, "d"), (5L, "e"))) 

val edges = sc.parallelize(Seq(
    Edge(1L, 2L, 34), Edge(1L, 3L, 23), Edge(2L, 5L, 10), 
    Edge(3L, 4L, 12), Edge(3L, 3L, 12), Edge(3L, 5L, 11))) 

val graph = Graph(nodes, edges) 

val graphFrame = GraphFrame.fromGraphX(graph) 

GraphFrame zapewnia znaleźć metodę, która trwa do wzorca w języku podobnym do Cypher. Dwie chmielu może być wyrażona jako:

val pattern = "(x1) - [a] -> (x2); (x2) - [b] -> (x3)" 

gdzie (_) przedstawia węzły i [_] krawędzi. Wy ścieżki dopasowania wzoru:

val paths = graphFrame.find(pattern) 

i select dziedzinach:

paths.select($"x1.attr", $"x3.attr", $"a.attr" + $"b.attr").show()