Mam ogromny zestaw danych z sześcioma kolumnami (nazywam je A, B, C, D, E, F), około 450 000 wierszy. Po prostu starał się znaleźć korelację między kolumnami A i B:Jak obliczyć korelację dwóch zmiennych w ogromnym zestawie danych w R?
cor(A, B)
i mam
[1] NA
wyniku. Co mogę zrobić, aby rozwiązać ten problem?
Wypróbuj cor(A,B, use = "pairwise.complete.obs"). To zignoruje NA w twoich obserwacjach.
Aby być statystycznie rygorystycznym, powinieneś także spojrzeć na # brakujących wpisów w swoich danych i sprawdzić, czy brakujące losowo założenie zawiera.
Edytuj 1: spójrz na ?cor, aby zobaczyć inne opcje dla parametru use.
Możesz rozważyć użycie funkcji rcorr w pakiecie Hmisc.
Jest bardzo szybki i zawiera tylko pełne sparowane obserwacje. Zwrócona obiekt zawiera matrycę
przykładowy kod jest dostępny here: