Stosując memisc importowania STATA .dta pliku do R

Question

mam 700 MB .dta złożenia Stata z 28 milionów i 14 obserwacji zmiennych kolumny

Przy próbie importu w R z zastosowaniem foreign's read.dta funkcji() biegnę z pamięci RAM na mojej maszynie 8 GB (strony bardzo szybko strzelają do GB).

staph <- read.dta("Staph_1999_2010.dta") 

szukałem wokół i to brzmi jak bardziej wydajny alternatywą byłoby użyć funkcji Stata.file() z memisc package.

Kiedy zadzwonić:

staph <- Stata.file("Staph_1999_2010.dta") 

otrzymuję segfault:

*** caught segfault *** 
address 0xd5d2b920, cause 'memory not mapped' 

Traceback: 
1: .Call("dta_read_labels", bf, lbllen, padding) 
2: dta.read.labels(bf, len.lbl, 3) 
3: get.dictionary.dta(dta) 
4: Stata.file("Staph_1999_2010.dta") 

mi się znaleźć w dokumentacji Stata.file() trudny do naśladowania.

(1) Czy poprawnie używam Stata.file()?

(2) Czy Stata.file() zwraca ramkę danych podobną do read.dta()?

(3) Jeśli prawidłowo używam Stata.file(), jak mogę naprawić błąd, który otrzymuję?

Answer 1

Z dostępem do Stata, jednym rozwiązaniem do eksportu .dta do .csv w Stata.

use "file.dta" 

export delimited using "file.csv", replace 

Następnie importu w R z zastosowaniem read.csv lub data.table::fread.

Inne pomysły:

• rozważyć próbkowanie trochę danych wykorzystujących sample w Stata Stata za
• Stata compress próbuje kompresji bezstratnej poprzez zmianę typów (nie
  pewien, że będzie zaoszczędzić dużo dla .csv i R chociaż).
• Spakuj dane mocno, konwertując na całkowitą dowolną datę lub identyfikator ciągu, jeśli to możliwe.
• Użyj instancji cloud na jednym czasie, a importu początkowego oczyszczenia, przed pobraniem lub utrzymywanie tylko ważną częścią
• uzyskać więcej RAM ...