Jak przybliżać macierz korelacji w dużych rzadkich matrycach scipy?

Question

Do tej pory użyłem rozwiązania z tego wątku link, jednak daje on błąd pamięci zgodnie z oczekiwaniami, ponieważ mój rozmiar macierzy A wynosi od 6 milionów do 40000 macierzy. Dlatego też szukam innego rozwiązania, aby zbliżyć macierz korelacji. Jak mogę zaszczepić ten problem? Każda pomoc jest doceniana.

Answer 1

Twój problem polega na tym, że nie możesz zatrzymać wyniku w pamięci (wartości 6e6^2?).

Możesz upuścić wiersze z oryginalnej macierzy. Jeśli, na przykład, szukasz silnie skorelowanych wierszy, możesz chcieć grupować wiersze, aby rozwiązać problem.

Można również użyć scipy.sparse.linalg.svds, aby zmniejszyć liczbę kolumn. Ale nadal będziesz musiał obsłużyć korelacje wierszy^2.