Dołącz nowe dane do istniejącej ramki danych (RDS) w R

Question

Mam Rscript, który czyta w stałym strumieniu danych w postaci pliku płaskiego. Inny skrypt odbiera ten plik płaski, wykonuje pewne przetwarzanie i przetwarzanie, a następnie zapisuje wynik jako dane.frame w formacie RDS. Następnie śpi i powtarza proces.

saveRDS(tmp.df, file="H:/Documents/tweet.df.rds") #saving the data.frame 

Na drugim ... n-tej iteracji, mam kod przetwarzać tylko nowe wiersze dodane do pliku płaskiego od poprzedniej iteracji. Jednakże, aby dołączyć linie delta do stałej ramki danych, muszę ją wczytać, dołączyć, a następnie zapisać z powrotem, zastępując oryginał.

df2 <- readRDS("H:/Documents/tweet.df.rds") #read in permanent      
tmp.df2 <- rbind(df2, tmp.df) #append new to existing 
saveRDS(tmp.df2, file="H:/Documents/tweet.df.rds") #save it 
rm(df2) #housecleaning 
rm(tmp.df2) #housecleaning 

Podejście to jest ryzykowne, bo gdy RDS jest otwarty dla odczytu/zapisu, kolejny proces chcąc dotknąć ten plik musi czekać. Gdy plik podstawowy staje się większy, ryzyko wzrasta.

Czy istnieje coś takiego jak appendRDS (wiem dosłownie, że nie ma), że można osiągnąć to, co chcę - iteracyjne aktualizowanie pojedynczej ramki danych - zapisanej w pliku - która używa raczej zamiast do uzupełnienia?

Answer 1

Myślę, że możesz zabezpieczyć swój proces, używając połączeń, otwierając i zamykając go, zanim przejmie następny proces.

con <- file("tmp.rds") 
open(con) 
df <- readRDS(con) 
df.new <- rbind(df,df) 
saveRDS(df.new, con) 
close(con) 

Aktualizacja:

Można sprawdzić, czy połączenie do pliku jest otwarta i poinformować go czekać na trochę, jeśli masz problemy z współbieżności.

while(is.Open(con)) { # untested but something of this nature should work 
sys.Sleep(2) 
} 

Answer 2

Czy jest coś złego w korzystaniu z serii ponumerowanych plików RDS w katalogu zamiast pojedynczego pliku RDS? Nie sądzę, że istnieje możliwość dołączenia do ramki danych pliku RDS bez przepisywania całego pliku, ponieważ ramki danych są po prostu listami kolumn, więc przypuszczalnie są one serializowane jedną kolumną na raz, więc tylko ostatnia kolumna kończy się blisko końca pliku.

Jeśli chcesz trzymać się pojedynczego pliku, ale zminimalizować ryzyko odczytania niespójnych danych z pliku RDS, możesz go odczytać, wykonać operację dołączenia, a następnie zapisać w pliku tymczasowym i zmienić jego nazwę plik do oryginalnej nazwy po zakończeniu. Wtedy przynajmniej twój okres ryzyka nie zależy od wielkości pliku. Nie jestem zaznajomiony z tym, jaki rodzaj atomowości jest gwarantowany przez różne systemy plików podczas zmiany nazwy pliku na istniejącą nazwę, ale prawdopodobnie jest lepszy niż czas potrzebny na zapisanie.