Używanie Pythona, aby wygenerować wykres połączenia/sieci

Question

Mam plik tekstowy z około 8,5 miliona punktów danych w formie:

Company 87178481 
Company 893489 
Company 2345788 
[...] 

chcę używać Pythona, aby utworzyć wykres połączenia, aby zobaczyć, co sieć między firmy wyglądają. Z powyższej próby dwie firmy podzieliłyby brzeg, gdyby wartość w drugiej kolumnie była taka sama (wyjaśnienie z/dla Hooked).

Używałem pakietu NetworkX i udało mi się wygenerować sieć na kilka tysięcy punktów, ale nie udało się jej przetworzyć całego pliku tekstowego o długości 8,5 mln węzłów. Uruchomiłem go i zostawiłem na około 15 godzin, a kiedy wróciłem, kursor w powłoce nadal migał, ale nie było wykresu wyjściowego.

Czy można bezpiecznie założyć, że nadal działa? Czy istnieje lepsze/szybsze/łatwiejsze podejście do wykreślania miliona punktów?

Answer 1

Jeśli dysponujesz 1000K punktów danych, będziesz potrzebować jakiegoś sposobu patrzenia na szeroki obraz. W zależności od tego, czego dokładnie szukasz, jeśli możesz przypisać "odległość" między firmami (powiedzmy liczbę połączeń od siebie), możesz wizualizować relacje (lub klastrowanie) za pomocą Dendrogram.

scipy nie klastrów:

http://docs.scipy.org/doc/scipy/reference/cluster.hierarchy.html#module-scipy.cluster.hierarchy

i ma funkcję, aby włączyć je do dendrogramów wizualizacji:

http://docs.scipy.org/doc/scipy/reference/generated/scipy.cluster.hierarchy.dendrogram.html#scipy.cluster.hierarchy.dendrogram

Przykładem najkrótszym funkcji odległości drogi poprzez networkx:

http://networkx.lanl.gov/reference/generated/networkx.algorithms.shortest_paths.generic.shortest_path.html#networkx.algorithms.shortest_paths.generic.shortest_path

Ostatecznie musisz zdecydować, jak chcesz zważyć odległość między dwoma firmami (wierzchołkami) na wykresie.

Answer 2

Masz zbyt wiele punktów danych i jeśli zrobiłeś wizualizację sieci, nie ma to żadnego sensu. Musisz mieć sposoby, aby 1) zmniejszyć liczbę firm, usuwając te, które są mniej ważne/mniej połączone 2) podsumuj wykres w jakiś sposób, a następnie wizualizuj.

Aby zmniejszyć rozmiar danych, lepiej byłoby samodzielnie utworzyć sieć (za pomocą własnego kodu, aby utworzyć grupę firm). W ten sposób można zmniejszyć rozmiar wykresu (np. Poprzez usunięcie singletonów, których może być wiele).

Do podsumowania zalecam uruchomienie klastrowania lub algorytmu wykrywania społeczności. Można to zrobić bardzo szybko, nawet w bardzo dużych sieciach. Użyj metody "fastgreedy" w pakiecie igraph: http://igraph.sourceforge.net/doc/R/fastgreedy.community.html (istnieje szybszy algorytm dostępny również w Internecie, to jest przez Blondel et al: http://perso.uclouvain.be/vincent.blondel/publications/08BG.pdf Wiem, że ich kod jest dostępny gdzieś w Internecie)