Najszybszym sposobem na import milionów plików w R?

Question

Mam 15 milionów plików CSV, każdy z dwiema kolumnami (liczbą całkowitą i zmiennoprzecinkową) oraz od 5 do 500 wierszy. Każdy plik wyglądał:

3453,0.034 
31,0.031 
567,0.456 
... 

Obecnie jestem iteracji po wszystkich plików, a przy użyciu read.csv() importować każdy plik do wielkiej listy. Oto uproszczona wersja:

allFileNames = Sys.glob(sprintf("%s/*/*/results/*/*", dir)) 

s$scores = list() 

for (i in 1:length(allFileNames)){ 
     if ((i %% 1000) == 0){ 
      cat(sprintf("%d of %d\n", i, length(allFileNames))) 
     } 

     fileName = allFileNames[i] 
     approachID = getApproachID(fileName) 
     bugID = getBugID(fileName) 

     size = file.info(fileName)$size 
     if (!is.na(size) && size > 0){ # make sure file exists and is not empty 
      tmp = read.csv(fileName, header=F, colClasses=c("integer", "numeric")) 
      colnames(tmp) = c("fileCode", "score") 
      s$scores[[approachID]][[bugID]] = tmp 
     } else { 
      # File does not exist, or is empty. 
      s$scores[[approachID]][[bugID]] = matrix(-1, ncol=2, nrow=1) 
     } 
    } 

tmp = read.csv(fileName, header=F, colClasses=c("integer", "numeric") 

Później w moim kodu, wracam za każdym matrycy na liście, i obliczyć pewne dane.

Po rozpoczęciu tego procesu importowania wygląda na to, że jego realizacja potrwa od 3 do 5 dni. Czy jest to szybszy sposób?

EDYCJA: Dodałem więcej szczegółów na temat mojego kodu.

Answer 1

Korzystanie scan (jako stan Joshua w komentarzu) mogłoby być szybsze (3-4 razy):

scan(fileName, what=list(0L,0.0), sep=",", dec=".", quiet=TRUE) 

Główną różnicą jest to, że lista scan powraca z dwóch elementów i read.csv zwrotów data.frame.

Answer 2

nie jestem jasne, na swój cel, ale jeśli starasz się czytać tych wszystkich plików w jednej strukturze danych R, to widzę dwa główne problemy z wydajnością: czasy dostępu

1. File - od momentu zażądania read.csv na maszynie rozpoczyna się niezliczona liczba złożonych procesów, polegająca na sprawdzeniu, czy plik istnieje, znalezieniu lokalizacji tego pliku w pamięci lub na dysku (i w razie potrzeby odczytaniu danych do pamięci), a następnie interpretując dane w R. Spodziewam się, że będzie to prawie stałe spowolnienie, gdy czytasz w milionach plików.
2. Rozwijanie struktury pojedynczych danych przy każdym odczytaniu nowego pliku. Za każdym razem, gdy chcesz dodać kilka wierszy do macierzy, prawdopodobnie będziesz musiał ponownie rozdzielić fragment wielkości o podobnej wielkości, aby zapisać większą macierz. Jeśli powiększasz swoją tablicę 15 milionów razy, na pewno zauważysz spowolnienie wydajności. Z tym problemem wydajność będzie się stopniowo pogarszać w miarę, jak będziesz czytał więcej plików.

Wykonaj szybkie profilowanie i zobacz, jak długo trwa czytanie. Jeśli stopniowo zwalniają, gdy czytasz więcej plików, skupmy się na problemie nr 2. Jeśli jest ciągle wolny, to martw się o problem nr 1.

dotyczące zagadnień, powiedziałbym, można zacząć od dwóch rzeczy:

1. Połącz pliki CSV w innym języku programowania. Prosty skrypt powłoki prawdopodobnie wykonałby tę pracę, gdybyś tylko przeglądał pliki i łączył je w jeden duży plik. Jak wspomnieli Joshua i Richie poniżej, możesz być w stanie zoptymalizować to bez konieczności odchylania się do innego języka, używając bardziej wydajnych funkcji scan() lub readlines().
2. Wstępnie zmień ujednoliconą strukturę danych. Jeśli na przykład korzystasz z macierzy, ustaw liczbę wierszy na ~ 15 milionów x 100. Zapewni to tylko jedno miejsce w pamięci dla tego obiektu, a pozostałe operacje po prostu wstawią dane do macierzy wstępnie określonej wielkości.

Dodaj więcej szczegółów na temat swojego kodu (jak wygląda lista?), A być może będziemy mogli być bardziej pomocni.

Answer 3

Jak wspomniał Jeff, jest kilka rzeczy, które mogą zająć dużo czasu. Problemem może być dostęp do plików lub czytanie w plikach lub brak pamięci, gdy masz 15 milionów ramek danych w pamięci RAM.Aby zlikwidować problem, zranienie może się różnić w zależności od specyfikacji urządzenia (np. Powolny dysk twardy spowolni czytanie w plikach, brak pamięci RAM będzie problemem z wysoką liczbą plików). Aby rozwiązać problem, musisz wykonać pewne profilowanie.

Trry czyta tylko około 10000 plików i zaczynając od system.time lub, bardziej ostrożnie, używając rbenchmark, aby zobaczyć, co zajmuje najwięcej czasu.

Następnie spojrzeć na Jøran w linku

Quickly reading very large tables as dataframes in R

i sprawdzić, czy któryś z techniką nie pomaga.

Answer 4

Co z tym ogólnym przepływem pracy? Jednak nie testowane.

my.list.of.files <- list.files(pattern = ".txt") # char vector of filenames 
my.data <- sapply(my.list.of.files, FUN = function(x) { 
      # read file using scan, craft the output to two columns 
     }) # result is merged 

#or if you use simplify= FALSE 
my.data <- sapply(my.list.of.files, FUN = function(x) { 
      # read file using scan (or some other method), craft the output to two columns 
     }, simplify = FALSE) #you get a list 
my.data <- do.call("rbind", my.data)