Suma przez odrębną wartość kolumny w R

Question

Mam bardzo dużą ramkę danych w R i chciałbym podsumować dwie kolumny dla każdej odrębnej wartości w innych kolumnach, na przykład, że mieliśmy dane o ramce danych transakcji w różnych sklepach w ciągu jednego dnia następująco

shop <- data.frame('shop_id' = c(1, 1, 1, 2, 3, 3), 
    'shop_name' = c('Shop A', 'Shop A', 'Shop A', 'Shop B', 'Shop C', 'Shop C'), 
    'city' = c('London', 'London', 'London', 'Cardiff', 'Dublin', 'Dublin'), 
    'sale' = c(12, 5, 9, 15, 10, 18), 
    'profit' = c(3, 1, 3, 6, 5, 9)) 

który jest:

shop_id shop_name city  sale profit 
    1  Shop A  London 12 3 
    1  Shop A  London 5 1 
    1  Shop A  London 9 3 
    2  Shop B  Cardiff 15 6 
    3  Shop C  Dublin 10 5 
    3  Shop C  Dublin 18 9 

i chciałbym podsumować sprzedaż i zysk dla każdego sklepu, aby dać:

shop_id shop_name city  sale profit 
    1  Shop A  London 26 7 
    2  Shop B  Cardiff 15 6 
    3  Shop C  Dublin 28 14 

Obecnie używam następujący kod, aby to zrobić:

shop_day <-ddply(shop, "shop_id", transform, sale=sum(sale), profit=sum(profit)) 
shop_day <- subset(shop_day, !duplicated(shop_id)) 

który działa całkowicie w porządku, ale jak powiedziałem moim dataframe jest duża (140.000 wierszy, 37 kolumn i prawie 100.000 unikalnych wierszy, które chcę sumę) i mój kod trwa wieki, a potem w końcu mówi, że zabrakło mu pamięci.

Czy ktoś wie o najbardziej efektywny sposób to zrobić.

Z góry dziękuję!

Answer 1

** Dane obowiązkowe Tabela odpowiedź **

> library(data.table) 
data.table 1.8.0 For help type: help("data.table") 
> shop.dt <- data.table(shop) 
> shop.dt[,list(sale=sum(sale), profit=sum(profit)), by='shop_id'] 
    shop_id sale profit 
[1,]  1 26  7 
[2,]  2 15  6 
[3,]  3 28  14 
> 

co brzmi dobrze i dobrze, aż robi się większe ...

shop <- data.frame(shop_id = letters[1:10], profit=rnorm(1e7), sale=rnorm(1e7)) 
shop.dt <- data.table(shop) 

> system.time(ddply(shop, .(shop_id), summarise, sale=sum(sale), profit=sum(profit))) 
    user system elapsed 
    4.156 1.324 5.514 
> system.time(shop.dt[,list(sale=sum(sale), profit=sum(profit)), by='shop_id']) 
    user system elapsed 
    0.728 0.108 0.840 
> 

uzyskać dodatkowy wzrost prędkości w przypadku tworzenia data.table z kluczem:

shop.dt <- data.table(shop, key='shop_id') 

> system.time(shop.dt[,list(sale=sum(sale), profit=sum(profit)), by='shop_id']) 
    user system elapsed 
    0.252 0.084 0.336 
> 

Answer 2

Oto jak użyć podstawy R, aby przyspieszyć operacje takie jak ta:

idx <- split(1:nrow(shop), shop$shop_id) 
a2 <- data.frame(shop_id=sapply(idx, function(i) shop$shop_id[i[1]]), 
       sale=sapply(idx, function(i) sum(shop$sale[i])), 
       profit=sapply(idx, function(i) sum(shop$profit[i]))) 

Czas zmniejsza się do 0,75 s w porównaniu z 5,70 s dla wersji podsumowania ddply w moim systemie.