Jak naprawić błąd MemoryError podczas wykonywania wyniku scikit-learns?

Question

Uruchamiam algorytm grupowania i chcę ocenić wynik, korzystając z wyniku sylwetki w nauce scikit. Ale w nauce scikit trzeba obliczyć matrycę odległości: odległości = parami_dmisek (X, metryczne = metryczne, ** kwds)

Z uwagi na fakt, że moje dane są rzędu 300K, a moja pamięć to 2 GB , a wynikiem jest brak pamięci. I nie mogę ocenić wyniku grupowania.

Czy ktoś wie, jak rozwiązać ten problem?

Answer 1

Ustaw parametr sample_size w wywołaniu na silhouette_score na wartość mniejszą niż 300 KB. Użycie tego parametru spowoduje pobranie przykładowych punktów danych z X i obliczenie silhouette_score na tych zamiast całej tablicy.