Oblicz podobieństwo rzadkiej macierzy

Question

Używam Pythona z modułem numpy, scipy i scikit-learn.

Chciałbym sklasyfikować tablice w bardzo dużej macierzy rzadkiej. (100,000 * 100,000)

Wartości w macierzy są równe 0 lub 1. Jedyną rzeczą, jaką ma to indeks o wartości = 1.

a = [1,3,5,7,9] 
b = [2,4,6,8,10] 

co oznacza

a = [0,1,0,1,0,1,0,1,0,1,0] 
b = [0,0,1,0,1,0,1,0,1,0,1] 

Jak mogę zmienić tablicę indeksów na sparse array w scipy?

Jak szybko sklasyfikować tablicę?

Dziękuję bardzo.

Answer 1

Jeśli wybierzesz rzadki coo_matrix można utworzyć to przechodząc indeksy jak:

from scipy.sparse import coo_matrix 
import scipy 
nrows = 100000 
ncols = 100000 
row = scipy.array([1,3,5,7,9]) 
col = scipy.array([2,4,6,8,10]) 
values = scipy.ones(col.size) 
m = coo_matrix((values, (row,col)), shape=(nrows, ncols), dtype=float)