Rzadkie implementacje obliczenia odległości w Pythonie/scikit-learn

Question

Mam duże (100K przez 30K) i (bardzo) rzadki zbiór danych w formacie svmlight które załadować w następujący sposób:

import numpy as np 
from scipy.cluster.vq import kmeans2 
from scipy.spatial.distance import pdist, squareform 
from sklearn.datasets import load_svmlight_file 

X,Y = load_svmlight_file("somefile_svm.txt") 

która zwraca rzadki scipy tablica X

I wystarczy obliczyć parami odległości wszystkich punktów szkoleniowych

D = pdist(X) 

niestety implementacje wyznaczania odległości w pracy jedynie scipy.spatial.distance dla gęstych matryc. Ze względu na wielkość zbioru danych jest niemożliwe do, powiedzmy, użyj pdist jak

D = pdist(X.todense()) 

Wszelkie odnośniki do nielicznych wdrożeń wyznaczania odległości matrycy lub obejścia w odniesieniu do tego problemu będzie mile widziana.

Dziękujemy

Answer 1

W scikit-learn jest sklearn.metrics.euclidean_distances funkcja, która działa zarówno na macierzach rzadkich i gęstych macierzach NumPy. Zobacz reference documentation.

Odległości nieeuklidesowe nie zostały jeszcze zaimplementowane dla rzadkich macierzy.