Dopasuj/grupa duplikatów wierszy (indeksy)

Question

Jak skutecznie dopasować/zgrupować indeksy zduplikowanych wierszy?

Powiedzmy mam ten zestaw danych:

set.seed(14) 
dat <- data.frame(mtcars[sample(1:5, 14, TRUE), ])[sample.int(14), ] 
rownames(dat) <- NULL 
dat 

##  mpg cyl disp hp drat wt qsec vs am gear carb 
## 1 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 
## 2 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4 
## 3 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 
## 4 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 
## 5 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 
## 6 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 
## 7 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 
## 8 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 
## 9 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 
## 10 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 
## 11 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 
## 12 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1 
## 13 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4 
## 14 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4 

mogę znaleźć wszystkie indeksy duplikatów (w tym pierwszego duplikatu) używając

which_duplicated <- function(dat){ 
    which(duplicated(dat) | duplicated(dat[nrow(dat):1, ])[nrow(dat):1]) 
} 

which_duplicated(dat) 

## [1] 1 2 3 4 5 6 7 8 9 10 11 13 

Ale chcę, aby móc dopasować te indeksy w górę, jak widać poniżej:

list(
    c(2, 13), 
    c(1, 4, 5, 6, 9), 
    c(3, 7, 8, 10, 11) 
) 

Jak mogę to zrobić wydajnie?

Answer 1

Oto możliwość korzystania „data.table”:

library(data.table) 
as.data.table(dat)[, c("GRP", "N") := .(.GRP, .N), by = names(dat)][ 
        N > 1, list(list(.I)), by = GRP] 
## GRP    V1 
## 1: 1  1,4,5,6,9 
## 2: 2   2,13 
## 3: 3 3, 7, 8,10,11 

Podstawowym założeniem jest stworzenie kolumnę „grupy” pozostałe kolumny (z wykorzystaniem .GRP), jak również kolumnę liczy ilu duplikat wiersze są (przy użyciu .N), a następnie filtrowanie wszystkiego, co ma więcej niż jeden duplikat, i umieszczenie kolumny "GRP" w kolumnie list.

Answer 2

Możemy użyć dplyr. Używając podobnej metodologii jak post @ AnandaMahto, tworzymy kolumnę indeksu wiersza (add_rownames(), grupujemy według wszystkich kolumn, my filter zbiór danych z liczbą wierszy w każdej grupie większej niż 1, summarise "rowname" do list i wyodrębnić kolumnę list.

library(dplyr) 
add_rownames(dat) %>% 
     group_by_(.dots= names(dat)) %>% 
     filter(n()>1) %>% 
     summarise(rn= list(rowname))%>% 
     .$rn 
#[[1]] 
#[1] "3" "7" "8" "10" "11" 

#[[2]] 
#[1] "2" "13" 

#[[3]] 
#[1] "1" "4" "5" "6" "9"