Czy linie odczytu mogą być wykonywane równolegle w ramach R

Question

Czy możliwe jest iteracyjne przetwarzanie pojedynczego pliku tekstowego na jednej maszynie wielordzeniowej równolegle z R? W przypadku kontekstu plik tekstowy zawiera od 250 do 400 MB danych wyjściowych JSON.

EDIT:

Oto niektóre przykłady kodu I zostały gry z. Ku mojemu zaskoczeniu przetwarzanie równoległe nie wygrało - tylko podstawowe lapply - ale może to być spowodowane błędem użytkownika z mojej strony. Ponadto podczas próby odczytu wielu dużych plików moja maszyna się zatarła.

## test on first 100 rows of 1 twitter file 
library(rjson) 
library(parallel) 
library(foreach) 
library(plyr) 
N = 100 
library(rbenchmark) 
mc.cores <- detectCores() 
benchmark(lapply(readLines(FILE, n=N, warn=FALSE), fromJSON), 
      llply(readLines(FILE, n=N, warn=FALSE), fromJSON), 
      mclapply(readLines(FILE, n=N, warn=FALSE), fromJSON), 
      mclapply(readLines(FILE, n=N, warn=FALSE), fromJSON, 
        mc.cores=mc.cores), 
      foreach(x=readLines(FILE, n=N, warn=FALSE)) %do% fromJSON(x), 
      replications=100) 

Tutaj drugi kod próbki

parseData <- function(x) { 
    x <- tryCatch(fromJSON(x), 
       error=function(e) return(list()) 
       ) 
    ## need to do a test to see if valid data, if so ,save out the files 
    if (!is.null(x$id_str)) { 
    x$created_at <- strptime(x$created_at,"%a %b %e %H:%M:%S %z %Y") 
    fname <- paste("rdata/", 
        format(x$created_at, "%m"), 
        format(x$created_at, "%d"), 
        format(x$created_at, "%Y"), 
        "_", 
        x$id_str, 
        sep="") 
    saveRDS(x, fname) 
    rm(x, fname) 
    gc(verbose=FALSE) 
    } 
} 

t3 <- system.time(lapply(readLines(FILES[1], n=-1, warn=FALSE), parseData)) 

Answer 1

Odpowiedź zależy od tego, co Problem w rzeczywistości polega na: równoległym odczytywaniu pliku lub równoległym przetwarzaniu pliku.

Czytanie równolegle

Mógłbyś podzielić plik JSON do wielu plików wejściowych i przeczytać je równolegle, na przykład używając plyr funkcje połączone z równoległym backend:

result = ldply(list.files(pattern = ".json"), readJSON, .parallel = TRUE) 

Rejestrowanie backend można pewnie zrobić za pomocą pakietu parallel który jest teraz zintegrowany bazowej R. Lub można użyć pakietu doSNOW patrz this post on my blog szczegóły.

tworzenie równolegle

W tym scenariuszu najlepiej jest, aby przeczytać cały zestaw danych do wektora znaków, podzielić dane, a następnie użyć równoległego backend połączeniu z np funkcje plyr.

Answer 2

readLines() prawdopodobnie nie z uwagi na charakter nierównoległe systemu plików IO. Oczywiście, jeśli używasz równoległego NFS lub czegoś w rodzaju HDFS, to ograniczenie nie będzie miało zastosowania. Ale zakładając, że jesteś w "standardowej" architekturze, nie będzie możliwe zrównoleglenie twoich połączeń readLine().

Najprościej byłoby prawdopodobnie przeczytać w całości akt skoro < 500MB prawdopodobnie będzie zmieścić się w pamięci, a następnie parallelize przetwarzanie raz jesteś obiekt jest już czytać.