Jak uzyskać dostęp do Wikipedii z R?

Question

Czy istnieje pakiet dla R, który pozwala na zapytanie do Wikipedii (najprawdopodobniej za pomocą interfejsu API Mediawiki), aby uzyskać listę dostępnych artykułów związanych z takim zapytaniem, a także zaimportować wybrane artykuły do ​​eksploracji tekstu?

Answer 1

Użyj pakietu RCurl, aby uzyskać informacje o wycofywaniu, oraz o pakietach XML lub RJSONIO do analizy odpowiedzi.

Jeśli jesteś za proxy, ustaw opcje.

opts <- list(
    proxy = "136.233.91.120", 
    proxyusername = "mydomain\\myusername", 
    proxypassword = 'whatever', 
    proxyport = 8080 
) 

Użyj funkcji getForm dostęp do the API.

search_example <- getForm(
    "http://en.wikipedia.org/w/api.php", 
    action = "opensearch", 
    search = "Te", 
    format = "json", 
    .opts = opts 
) 

Analizowanie wyników.

fromJSON(rawToChar(search_example)) 

Answer 2

Jest WikipediR 'Owijka MediaWiki API w R'

library(devtools) 
install_github("Ironholds/WikipediR") 
library(WikipediR) 

Obejmuje ona następujące funkcje:

ls("package:WikipediR") 
[1] "wiki_catpages"  "wiki_con"   "wiki_diff"   "wiki_page"   
[5] "wiki_pagecats"  "wiki_recentchanges" "wiki_revision"  "wiki_timestamp"  
[9] "wiki_usercontribs" "wiki_userinfo" 

tutaj jest w użyciu, coraz szczegóły wkład i użytkownika szczegóły dla wielu użytkowników:

library(RCurl) 
library(XML) 

# scrape page to get usernames of users with highest numbers of edits 
top_editors_page <- "http://en.wikipedia.org/wiki/Wikipedia:List_of_Wikipedians_by_number_of_edits" 
top_editors_table <- readHTMLTable(top_editors_page) 
very_top_editors <- as.character(top_editors_table[[3]][1:5,]$User) 

# setup connection to wikimedia project 
con <- wiki_con("en", project = c("wikipedia")) 

# connect to API and get last 50 edits per user 
user_data <- lapply(very_top_editors, function(i) wiki_usercontribs(con, i)) 
# and get information about the users (registration date, gender, editcount, etc) 
user_info <- lapply(very_top_editors, function(i) wiki_userinfo(con, i))