Generowanie wskaźników w dużych ramkach danych

Question

Celem jest utworzenie wskaźników dla zmiennej czynnik/łańcuch w ramce danych. Ta ramka danych ma> 2 mm wierszy, a R na windows, nie mam możliwości użycia plyr z .parallel = T. Więc biorę trasę "dziel i rządź" z plyr i reshape2.

Running stopienia i odlewanych zabraknie pamięci, a przy użyciu

ddply(idata.frame(items) , c("ID") , function(x){ 
     ( colSums(model.matrix(~ x$element - 1)) > 0 ) 
} , .progress="text")  

lub

ddply(idata.frame(items) , c("ID") , function(x){ 
      ( elements %in% x$element ) 
    } , .progress="text") 

ma potrwać. Najszybszym podejściem jest wezwanie do zastosowania poniżej. Czy widzisz sposób na przyspieszenie tego? Instrukcja% in% działa szybciej niż wywołanie model.matrix. Dzięki.

set.seed(123) 

dd <- data.frame(
    id = sample(1:5, size=10 , replace=T) , 
    prd = letters[sample(1:5, size=10 , replace=T)] 
) 

prds <- unique(dd$prd) 

tapply(dd$prd , dd$id , function(x) prds %in% x) 

Answer 1

tego problemu, opakowania bigmemory i bigtabulate może być twoimi przyjaciółmi. Tu jest nieco bardziej ambitny przykład:

library(bigmemory) 
library(bigtabulate) 

set.seed(123) 

dd <- data.frame(
    id = sample(1:15, size=2e6 , replace=T), 
    prd = letters[sample(1:15, size=2e6 , replace=T)] 
) 

prds <- unique(dd$prd) 

benchmark(
bigtable(dd,c(1,2))>0, 
table(dd[,1],dd[,2])>0, 
xtabs(~id+prd,data=dd)>0, 
tapply(dd$prd , dd$id , function(x) prds %in% x) 
) 

a wyniki analizy porównawczej (uczę się nowych rzeczy cały czas):

          test replications elapsed relative user.self sys.self user.child sys.child 
1      bigtable(dd, c(1, 2)) > 0   100 54.401 1.000000 51.759 3.817   0   0 
2     table(dd[, 1], dd[, 2]) > 0   100 112.361 2.065422 107.526 6.614   0   0 
4 tapply(dd$prd, dd$id, function(x) prds %in% x)   100 178.308 3.277660 166.544 13.275   0   0 
3    xtabs(~id + prd, data = dd) > 0   100 229.435 4.217478 217.014 16.660   0   0 

I to pokazuje bigtable wygranej przez znaczną kwotę. Wyniki są prawie takie, że wszystkie prdki są we wszystkich identyfikatorach, ale zobacz ?bigtable, aby uzyskać szczegółowe informacje na temat formatu wyników.

Answer 2

Korzystanie z funkcji %in% wydaje mi się odwrotne. A jeśli chcesz uzyskać wynik prawdziwy/fałszywy dla każdego rzędu danych, powinieneś użyć% w% jako operacji wektorowej lub ave. Chociaż nie jest to potrzebne, możesz go użyć, jeśli istnieje bardziej złożona funkcja, którą należy zastosować do każdego elementu.

set.seed(123) 

dd <- data.frame(
    id = sample(1:5, size=10 , replace=T) , 
    prd = letters[sample(1:5, size=10 , replace=T)] 
) 

prds <- unique(dd$prd) 
target.prds <- prds[1:2] 
dd$prd.in.trgt <- with(dd, prd %in% target.prds) 

Answer 3

można powiedzieć trochę więcej jak problem będzie skalować pod względem liczby poziomów, numery identyfikatorów itd (jeśli trzymać liczby poziomów stałych, a następnie na tyle osób matrycy Ci wskaźnik "obliczenia będą zbliżać się do wszystkich PRAWDZIWYCH/wszystkich 1 ...)? Spodziewałem się, że xtabs byłoby szybciej, ale to nie jest dla przykładu tej wielkości ...

library(rbenchmark) 
benchmark(
      tapply(dd$prd , dd$id , function(x) prds %in% x), 
      xtabs(~id+prd,data=dd)>0) 

    test  replications elapsed relative 
1 tapply(...)    100 0.053 1.000000 
2 xtabs(...) > 0   100 0.120 2.264151