Usuwanie znaków spoza ASCII z plików danych

Question

Mam kilka plików csv, które czytam do R i w tym w folderze pakiet/dane w formacie .rdata. Niestety, znaki spoza ASCII w danych nie sprawdzają. Pakiet tools ma dwie funkcje sprawdzania znaków spoza ASCII (showNonASCII i showNonASCIIfile), ale nie mogę zlokalizować jednego, aby je usunąć/wyczyścić.

Zanim przejdę do innych narzędzi UNIX, byłoby wspaniale zrobić to wszystko w R, więc mogę utrzymać pełny przepływ pracy od surowych danych do końcowego produktu. Czy istnieją jakieś pakiety/funkcje, które pomogą mi pozbyć się znaków spoza ASCII?

Answer 1

po prostu usunąć znaki spoza ASCII, można użyć baza R na iconv() ustawienie sub = "". Coś jak to powinno działać:

x <- c("Ekstr\xf8m", "J\xf6reskog", "bi\xdfchen Z\xfcrcher") # e.g. from ?iconv 
Encoding(x) <- "latin1" # (just to make sure) 
x 
# [1] "Ekstrøm"   "Jöreskog"  "bißchen Zürcher" 

iconv(x, "latin1", "ASCII", sub="") 
# [1] "Ekstrm"  "Jreskog"  "bichen Zrcher" 

Aby zlokalizować znaków spoza ASCII, albo znaleźć, gdyby nie było w ogóle w plikach, można prawdopodobnie dostosować następujące pomysły:

## Do *any* lines contain non-ASCII characters? 
any(grepl("I_WAS_NOT_ASCII", iconv(x, "latin1", "ASCII", sub="I_WAS_NOT_ASCII"))) 
[1] TRUE 

## Find which lines (e.g. read in by readLines()) contain non-ASCII characters 
grep("I_WAS_NOT_ASCII", iconv(x, "latin1", "ASCII", sub="I_WAS_NOT_ASCII")) 
[1] 1 2 3 

Answer 2

W dzisiejszych czasach nieco lepszym rozwiązaniem jest użycie pakietu stringi, który zapewnia funkcję ogólnej konwersji w Unicode. Pozwala to zachować oryginalny tekst w maksymalnym możliwym stopniu:

x <- c("Ekstr\u00f8m", "J\u00f6reskog", "bi\u00dfchen Z\u00fcrcher") 
x 
#> [1] "Ekstrøm"   "Jöreskog"  "bißchen Zürcher" 

stringi::stri_trans_general(x, "latin-ascii") 
#> [1] "Ekstrom"   "Joreskog"   "bisschen Zurcher"