Błąd przepełnienia stosu ochrony przed przepełnieniem

Question

Używam fread w data.table (1.8.8, R 3.0.1) w celu odczytu bardzo dużych plików.

Plik, którego dotyczy pytanie, ma 313 wiersze i ~ 6,6 milionów kolsjek wierszy danych liczbowych, a plik ma około 12 GB. To jest Centos 6.4 z 512 GB pamięci RAM.

Gdy próbuję odczytać w pliku:

g=fread('final.results',header=T,sep=' ') 
'header' changed by user from 'auto' to TRUE 
Error: protect(): protection stack overflow 

starałem począwszy R z --max-ppsize 500000, który jest max, ale z tego samego błędu.

Próbowałem również ustawienie rozmiaru stosu nieograniczony poprzez

ulimit -s unlimited 

Wirtualnej pamięci został już ustawiony na nieograniczony.

Czy jestem nierealny z plikiem tej wielkości? Czy tęskniłem za czymś dość oczywistym?

Answer 1

Teraz naprawione w wersji 1.8.9 na R-Kuźnia.

• niezamierzony granica 50000 kolumnie zostały usunięte w fread. Dzięki mpmorley do raportowania. Test został dodany.

Powodem była ta część mam źle w źródle fread.c:

// ********************************************************************* 
// Allocate columns for known nrow 
// ********************************************************************* 
ans=PROTECT(allocVector(VECSXP,ncol)); 
protecti++; 
setAttrib(ans,R_NamesSymbol,names); 
for (i=0; i<ncol; i++) { 
    thistype = TypeSxp[ type[i] ]; 
    thiscol = PROTECT(allocVector(thistype,nrow)); // ** HERE ** 
    protecti++; 
    if (type[i]==SXP_INT64) 
     setAttrib(thiscol, R_ClassSymbol, ScalarString(mkChar("integer64"))); 
    SET_TRUELENGTH(thiscol, nrow); 
    SET_VECTOR_ELT(ans,i,thiscol); 
} 

Według R-exts section 5.9.1, które chronią wewnątrz pętli nie jest potrzebna:

W niektórych przypadkach należy lepiej śledzić, czy rzeczywiście potrzebna jest ochrona. Be szczególnie świadomy sytuacji, w których generowana jest duża liczba obiektów. Stos ochrony wskaźnika ma ustalony rozmiar (domyślnie 10 000) i może być pełny. To nie jest dobry pomysł, aby następnie chronić wszystko w zasięgu wzroku i UNPROTECT kilka tysięcy obiektów na końcu. To jest prawie zawsze możliwe, aby przypisać obiekty jako część innego obiektu (który automatycznie chroni je) lub odłączyć je natychmiast po użyciu.

Tak, więc PROTECT jest teraz usunięty i wszystko jest w porządku. (Wydaje się, że limit stosu wskaźnika myszy został zredukowany do 50 000 od momentu napisania tego tekstu, Defn.h zawiera #define R_PPSSIZE 50000L.) Sprawdziłem wszystkie inne PROTECTy w źródle danych w pliku data.table dla czegoś podobnego i znalezionego i naprawionego w przypisaniu .c też (przy dodawaniu ponad 50 000 kolumn przez odniesienie), żadnych innych.

Dzięki za zgłoszenie!