łączenia dwóch ramek danych za pomocą Fuzzy/Przybliżona łańcuch pasujący w R

Question

OPIS

że dwa zbiory danych z informacjami, które trzeba połączyć. Jedynymi wspólnymi polami, które mam, są ciągi, które nie pasują idealnie, oraz pole numeryczne, które może być zasadniczo różne.

Jedynym sposobem na wyjaśnienie problemu jest pokazanie danych. Oto a.csv i b.csv. Próbuję połączyć B z A.

Istnieją trzy pola w B i cztery w A. Nazwa firmy (tylko plik A), nazwa funduszu, klasa aktywów i aktywa. Do tej pory mój nacisk został położony na próbując dopasować nazwy Funduszu poprzez zastąpienie słowa lub części struny do tworzenia dokładnych wyników, a następnie przy użyciu:

a <- read.table(file = "http://bertelsen.ca/R/a.csv",header=TRUE, sep=",", na.strings=F, strip.white=T, blank.lines.skip=F, stringsAsFactors=T) 
b <- read.table(file = "http://bertelsen.ca/R/b.csv",header=TRUE, sep=",", na.strings=F, strip.white=T, blank.lines.skip=F, stringsAsFactors=T) 
merge(a,b, by="Fund.Name") 

Jednak to tylko doprowadza mnie do około 30% dopasowania. Resztę muszę zrobić ręcznie.

Aktywa to pole liczbowe, które nie zawsze jest poprawne i może się znacznie różnić, jeśli fundusz ma niskie aktywa. Klasa zasobów jest polem łańcucha, które jest "ogólnie" takie samo w obu plikach, jednak istnieją rozbieżności.

Dodanie do komplikacji są różne serie funduszy, B. pliku Na przykład:

AGF kanadyjski Wartość

AGF kanadyjski Value-D

W tych przypadkach, Muszę wybrać ten, który nie jest seryjny, lub wybrać ten, który nazywa się "A", "-A" lub "Doradca" jako mecz.

PYTANIE

Co byś powiedział, jest najlepszym rozwiązaniem? To ćwiczenie jest czymś, co muszę wykonywać co miesiąc, a ręczne dopasowywanie ich jest niezwykle czasochłonne. Przykłady kodu byłyby instrumentalne.

POMYSŁY

Jedną z metod, która myślę, że może pracować jest normalizowanie sznurki na podstawie pierwszego wielka litera każdego słowa w ciągu. Ale nie byłem w stanie wymyślić, jak to zrobić, używając R.

Inną rozważaną przeze mnie metodą było utworzenie indeksu wyników na podstawie kombinacji aktywów, nazwy funduszu, klasy aktywów i firmy. Ale znowu nie jestem pewien, jak to zrobić z R. Lub, jeśli o to chodzi, jeśli to nawet możliwe.

Przykłady kodu, komentarzy, myśli i kierunku są bardzo mile widziane!

Answer 1

dopasowanie Przybliżony ciąg nie jest dobrym pomysłem, ponieważ niepoprawne mecz by unieważnić całą analizę. Jeśli nazwy z każdego źródła są za każdym razem takie same, to tworzenie indeksów wydaje mi się najlepszą opcją. Można to łatwo zrobić w R:

Załóżmy, że mamy dane:

a<-data.frame(name=c('Ace','Bayes'),price=c(10,13)) 
b<-data.frame(name=c('Ace Co.','Bayes Inc.'),qty=c(9,99)) 

zbudować indeks nazw dla każdego źródła pewnym momencie, być może przy użyciu pmatch itd. Jako punkt wyjścia, a następnie sprawdzanie ręcznie.

a.idx<-data.frame(name=c('Ace','Bayes'),idx=c(1,2)) 
b.idx<-data.frame(name=c('Ace Co.','Bayes Inc.'), idx=c(1,2)) 

Następnie dla każdego uruchomienia seryjnej przy użyciu:

a.rich<-merge(a,a.idx,by="name") 
b.rich<-merge(b,b.idx,by="name") 
merge(a.rich,b.rich,by="idx") 

co dałoby nam:

idx name.x price  name.y qty 
1 1 Ace 10 Ace Co. 9 
2 2 Bayes 13 Bayes Inc. 99 

Answer 2

Jedna szybka sugestia: spróbuj zrobić dopasowanie na różnych polach oddzielnie przed użyciem scalania. Najprostszym podejściem jest funkcja pmatch, chociaż R nie ma niedoborów funkcji dopasowywania tekstu (na przykład agrep).Oto prosty przykład:

pmatch(c("med", "mod"), c("mean", "median", "mode")) 

Dla własnego zbioru danych, to pasuje do wszystkich nazw funduszy z a:

> nrow(merge(a,b,x.by="Fund.Name", y.by="Fund.name")) 
[1] 58 
> length(which(!is.na(pmatch(a$Fund.Name, b$Fund.name)))) 
[1] 238 

Po utworzeniu mecze, można łatwo połączyć je ze sobą przy użyciu tych zamiast.

Answer 3

Jestem również lokalnym mieszkańcem Kanady, rozpoznaję nazwy funduszy.

Jest to trudne, ponieważ każdy z dostawców danych wybiera swój własny formularz dla poszczególnych nazw funduszy. Niektórzy używają różnych struktur, takich jak wszystkie kończące się w każdym Funduszu lub Klasie, inne są wszędzie. Każdy wydaje się również wybierać własne krótkie formy, a te zmieniają się regularnie.

Dlatego tak wielu ludzi jak ty robi to ręcznie, regularnie. Niektóre firmy konsultingowe wystawiają indeksy, które łączą różne źródła, nie wiedząc, czy wybrałeś tę trasę?

Jak zauważyli Shane i Marek, jest to pasujące zadanie bardziej niż łączenie proste. Wiele firm boryka się z tym problemem. Jestem w trakcie pracy nad tym ...

Jay

Answer 4

Jest wysoce zalecane, aby użyć pakietu dgrtwo/fuzzyjoin. stringdist_inner_join(a,b, by="Fund.Name")