Przechowywanie dużych ramek danych w redis przez R

Question

Mam wiele dużych ramek danych w R, który miałem zamiar przechowywać za pomocą redis. Jestem całkowicie nowy w Redis, ale czytałem o tym dzisiaj i używam pakietu R rredis.

Grałem z małymi danymi oraz zapisałem i wyszukałem małe ramki danych przy użyciu funkcji redisSet() i redisGet(). Jednak gdy przyszło do zapisywania moich większych dataframes (z których największa wynosi 4,3 miliona wierszy i 365MB gdy zapisany jako plik .RData) używając kodu redisSet('bigDF', bigDF) pojawia się następujący komunikat o błędzie:

Error in doTryCatch(return(expr), name, parentenv, handler) : 
    ERR Protocol error: invalid bulk length 
In addition: Warning messages: 
1: In writeBin(v, con) : problem writing to connection 
2: In writeBin(.raw("\r\n"), con) : problem writing to connection 

Przypuszczalnie dlatego, że dataframe jest zbyt duży, aby go zapisać. Wiem, że redisSet zapisuje ramkę danych jako ciąg znaków, co nie jest chyba najlepszym sposobem na zrobienie tego z dużymi ramkami danych. Czy ktoś wie o najlepszy sposób to zrobić?

EDIT: Mam odtworzył błąd mój tworząc bardzo dużą atrapę dataframe:

bigDF <- data.frame(
'lots' = rep('lots',40000000), 
'of' = rep('of',40000000), 
'data' = rep('data',40000000), 
'here'=rep('here',40000000) 
) 

Running redisSet('bigDF',bigDF) daje mi błąd:

Error in .redisError("Invalid agrument") : Invalid agrument 

po raz pierwszy, a następnie uruchomić go ponownie natychmiast potem I pojawia się błąd

Error in doTryCatch(return(expr), name, parentenv, handler) : 
    ERR Protocol error: invalid bulk length 
In addition: Warning messages: 
1: In writeBin(v, con) : problem writing to connection 
2: In writeBin(.raw("\r\n"), con) : problem writing to connection 

Dzięki

Answer 1

W skrócie: nie można. Redis can store a maximum of 512 Mb of data in a String value a odcinkach ramka danych demo jest większa niż:

> length(serialize(bigDF, connection = NULL))/1024/1024 
[1] 610.352 

---

tło techniczne:

serialize nazywa się funkcją .cerealize pakietu poprzez redisSet i rredis:::.redisCmd:

> rredis:::.cerealize 
function (value) 
{ 
    if (!is.raw(value)) 
     serialize(value, ascii = FALSE, connection = NULL) 
    else value 
} 
<environment: namespace:rredis> 

---

Offtopic: dlaczego przechowywałbyś tak duży zbiór danych w Redis? Redis jest dla małych par klucz-wartość. Z drugiej strony odniosłem sukces, przechowując duże zbiory danych w CouchDB i MongoDB (z GridFS), dodając tam skompresowany RData jako załącznik.