Jak zoptymalizować skrobanie za pomocą getURL() w R

Question

Próbuję zeskrobać wszystkie rachunki z dwóch stron na stronie internetowej niższej francuskiej izby parlamentu. Strony pokrywają 2002-2012 i reprezentują mniej niż 1000 rachunków każdy.

Do tego ja zeskrobać z getURL pośrednictwem tej pętli:

b <- "http://www.assemblee-nationale.fr" # base 
l <- c("12","13") # legislature id 

lapply(l, FUN = function(x) { 
    print(data <- paste(b, x, "documents/index-dossier.asp", sep = "/")) 

    # scrape 
    data <- getURL(data); data <- readLines(tc <- textConnection(data)); close(tc) 
    data <- unlist(str_extract_all(data, "dossiers/[[:alnum:]_-]+.asp")) 
    data <- paste(b, x, data, sep = "/") 
    data <- getURL(data) 
    write.table(data,file=n <- paste("raw_an",x,".txt",sep="")); str(n) 
}) 

Czy istnieje jakiś sposób, aby zoptymalizować funkcję getURL() tutaj? I nie wydaje się używać jednoczesnego pobierania przekazując opcję async=TRUE, co daje mi ten sam błąd za każdym razem:

Error in function (type, msg, asError = TRUE) : 
Failed to connect to 0.0.0.12: No route to host 

pomysłów? Dzięki!

Answer 1

Spróbuj mclapply wielordzeniowych {} zamiast lapply.

„mclapply jest parallelized wersja lapply, zwraca listę tej samej długości co X, każdy element, który jest wynikiem zastosowania FUN odpowiedniego elementu X.” (http://www.rforge.net/doc/packages/multicore/mclapply.html)

Jeśli to nie zadziała, można uzyskać lepszą wydajność przy użyciu pakietu XML. Funkcje takie jak xmlTreeParse korzystają z wywołań asynchronicznych.

„Zauważ, że xmlTreeParse zezwala styl hybrydowy przetwarzania że pozwala nam stosować ładowarki do węzłów w drzewie są one będąc przekształcony R obiektów. To jest styl zdarzeniami lub asynchroniczne powołanie." (http://www.inside-r.org/packages/cran/XML/docs/xmlEventParse)

Answer 2

Dlaczego warto korzystać z R? W przypadku dużych zadań skrobania lepiej jest użyć czegoś już opracowanego do tego zadania. Miałem dobre wyniki z Down Them All, dodatek do przeglądarki. Wystarczy powiedzieć, od czego zacząć, jak głęboko iść, jakie wzory do naśladowania i gdzie zrzucić HTML.

Następnie użyj R, aby odczytać dane z plików HTML.

Zalety są ogromne - te dodatki zostały opracowane specjalnie do tego zadania, aby możliwe było ich wielokrotne pobieranie (które można kontrolować), będą wysyłać odpowiednie nagłówki, aby następne pytanie nie brzmiało "w jaki sposób ustawić ciąg agenta użytkownika z RCurl? 'i mogą poradzić sobie z ponowną próbą, gdy niektóre z plików do pobrania zawiodą, co nieuchronnie nastąpi.

Oczywiście wadą jest to, że nie można łatwo uruchomić tego procesu automatycznie, w takim przypadku może lepiej byłoby, gdyby "curl" był w wierszu poleceń, lub w innym narzędziu dublowania wiersza polecenia.

Szczerze mówiąc, masz lepsze rzeczy do zrobienia ze swoim czasem niż kodzie strony zapisu w R ...