Usuwanie stopwords z pliku

Question

Chcę usunąć stopwords z kolumny Data w moim pliku. Odfiltrowałem linię, gdy mówi użytkownik końcowy. Ale to nie odfiltrowuje stoperów z usertext.apply(lambda x: [word for word in x if word not in stop_words]) co robię źle?

import pandas as pd 
from stop_words import get_stop_words 
df = pd.read_csv("F:/textclustering/data/cleandata.csv", encoding="iso-8859-1") 
usertext = df[df.Role.str.contains("End-user",na=False)][['Data','chatid']] 
stop_words = get_stop_words('dutch') 
clean = usertext.apply(lambda x: [word for word in x if word not in stop_words]) 
print(clean) 

Answer 1

clean = usertext.apply(lambda x: x if x not in stop_words else '') 

Answer 2

można zbudować wzorzec regex swojego zatrzymania słów i wywołać wektoryzowane str.replace celu ich usunięcia:

In [124]: 
stop_words = ['a','not','the'] 
stop_words_pat = '|'.join(['\\b' + stop + '\\b' for stop in stop_words]) 
stop_words_pat 

Out[124]: 
'\\ba\\b|\\bnot\\b|\\bthe\\b' 

In [125]:  
df = pd.DataFrame({'text':['a to the b', 'the knot ace a']}) 
df['text'].str.replace(stop_words_pat, '') 

Out[125]: 
0   to b 
1  knot ace 
Name: text, dtype: object 

tutaj wykonujemy listowych zbudować wzorzec otaczającą każde słowo zatrzymania z '\b', która jest zerwaniem, a następnie or wszystkimi słowami z użyciem '|'

Answer 3

Dwa numery:

Po pierwsze, masz moduł o nazwie stop_words, a później utworzysz zmienną o nazwie stop_words. To jest zła forma.

Po drugie, przekazujesz funkcję lambda do .apply, która chce, aby jej parametr x był listą, a nie wartością z listy.

Oznacza to, że zamiast wykonywać df.apply(sqrt), robisz df.apply(lambda x: [sqrt(val) for val in x]).

należy albo zrobić lista przetwarzania siebie:

clean = [x for x in usertext if x not in stop_words] 

Albo należy wykonać zastosować, z funkcji, która zajmuje jedno słowo na raz:

clean = usertext.apply(lambda x: x if x not in stop_words else '') 

Jako @ Jean- François Fabre sugeruje w komentarzu, można przyspieszyć, jeśli stop_words jest zbiorem zamiast listy:

from stop_words import get_stop_words 

nl_stop_words = set(get_stop_words('dutch')) # NOTE: set 

usertext = ... 
clean = usertext.apply(lambda word: word if word not in nl_stop_words else '')