Efektywne zarządzanie pamięcią w R

Question

mam 6 GB pamięci w moim komputerze (Windows 7 Pro 64-bitowy) oraz w R, mam

> memory.limit() 
6141 

Oczywiście, gdy mamy do czynienia z dużymi danych, występuje błąd alokacji pamięci. Tak więc w celu dokonania R, aby korzystać z pamięci wirtualnej, używam

> memory.limit(50000) 

Teraz, gdy uruchomiony mój skrypt, nie mam błąd alokacji pamięci dłużej, ale R wieprze cała pamięć w moim komputerze więc mogę nie używaj maszyny, dopóki skrypt się nie skończy. Zastanawiam się, czy istnieje lepszy sposób, aby R zarządzał pamięcią maszyny. Myślę, że może to zrobić, jeśli korzysta się z pamięci wirtualnej, jeśli korzysta ona z pamięci fizycznej w stopniu większym niż określony przez użytkownika. Czy jest jakaś taka opcja?

Answer 1

Spójrz na FF i bigmemory pakietach. Wykorzystuje to funkcje, które wiedzą o obiektach R, aby utrzymać je na dysku, zamiast pozwolić systemowi operacyjnemu (który tylko wie o porcjach pamięci, ale nie o tym, co reprezentuje).

Answer 2

R nie zarządza pamięcią urządzenia. To jest obowiązek systemu operacyjnego. Jedynym powodem memory.size i memory.limit istnieć w systemie Windows, ponieważ jest (od help("Memory-limits")):

Under Windows, R imposes limits on the total memory allocation 
available to a single session as the OS provides no way to do so: 
see 'memory.size' and 'memory.limit'. 

R obiektów również zajmować ciągłą przestrzeń w pamięci RAM, więc można uruchomić w kwestii alokacji pamięci tylko kilka dużych obiektów. Prawdopodobnie możesz być bardziej ostrożny z liczbą/wielkością tworzonych obiektów i unikać używania tak dużej ilości pamięci.

Answer 3

To nie jest rozwiązanie, ale sugestia. W miarę możliwości używaj obiektów wydajnych pamięciowo: na przykład użyj macierzy zamiast danych.frame.

Oto przykład

m = matrix(rnorm(1000), 2, 2) 
d = as.data.frame(m) 
object.size(m) 
232 bytes 
object.size(d) 
808 bytes