Dodawanie niestandardowych stopwords w R tm

Question

Mam Corpus w R za pomocą pakietu tm. Ja stosowania funkcja removeWords usunąć stopwords

tm_map(abs, removeWords, stopwords("english")) 

Czy istnieje sposób, aby dodać własne zwyczaj zatrzymywania słów do tej listy?

Answer 1

stopwords zapewnia tylko wektor słów, po prostu ombine własnych do tego.

tm_map(abs, removeWords, c(stopwords("english"),"my","custom","words")) 

Answer 2

Można utworzyć wektor swoim zwyczajem stopwords & użyć instrukcji tak:

tm_map(abs, removeWords, c(stopwords("english"), myStopWords)) 

Answer 3

Możliwe jest dodawanie własnych stopwords do domyślnej listy stopwords dostarczonym wraz z tm zainstalować . Pakiet "tm" zawiera wiele plików danych, w tym stopwords i należy pamiętać, że pliki stopwords są dostępne dla wielu języków. Możesz dodać, usunąć lub zaktualizować plik english.dat w katalogu stopwords.
Najprostszym sposobem znalezienia katalogu stopwords jest wyszukanie katalogu "stopwords" w systemie za pomocą przeglądarki plików. Powinieneś znaleźć english.dat wraz z wieloma innymi plikami językowymi. Otwórz plik english.dat z RStudio, który powinien umożliwić edycję pliku - możesz dodawać własne słowa lub w razie potrzeby upuszczać istniejące. To jest ten sam proces, jeśli chcesz edytować stopwords w jakimkolwiek innym języku.

Answer 4

Zapisz swój niestandardowy stop words w pliku csv (np: word.csv).

library(tm) 
stopwords <- read.csv("word.csv", header = FALSE) 
stopwords <- as.character(stopwords$V1) 
stopwords <- c(stopwords, stopwords()) 

Następnie można zastosować custom words do pliku tekstowego.

text <- VectorSource(text) 
text <- VCorpus(text) 
text <- tm_map(text, content_transformer(tolower)) 
text <- tm_map(text, removeWords, stopwords) 
text <- tm_map(text, stripWhitespace) 

text[[1]]$content