Pythoniczny/efektywny sposób na usunięcie białych znaków z każdej komórki ramki danych Pandas, która ma w niej obiekt podobny do łańcucha znaków

Question

Czytam plik CSV w DataFrame. Muszę usunąć białe znaki ze wszystkich podobnych do łańcucha komórek, pozostawiając pozostałe komórki w niezmienionej postaci w Pythonie 2.7.

Oto co robię:

def remove_whitespace(x): 
    if isinstance(x, basestring): 
     return x.strip() 
    else: 
     return x 

my_data = my_data.applymap(remove_whitespace) 

Czy jest lepszy lub bardziej idiomatycznych do Pandy sposób to zrobić?

Czy jest bardziej efektywny sposób (być może robiąc rzeczy w mądrych kolumnach)?

Próbowałem już znaleźć ostateczną odpowiedź, ale większość pytań na ten temat brzmi: jak usunąć białe znaki z nazw kolumn lub założyć, że wszystkie komórki są ciągami.

Answer 1

Można użyć pandy Series.str.strip() sposób to zrobić szybko dla każdej kolumnie ciąg podobny:

>>> data = pd.DataFrame({'values': [' ABC ', ' DEF', ' GHI ']}) 
>>> data 
     values 
0  ABC 
1  DEF 
2  GHI 

>>> data['values'].str.strip() 
0 ABC 
1 DEF 
2 GHI 
Name: values, dtype: object 

Answer 2

Po wywołaniu pandas.read_csv, można użyć wyrażenia regularnego, które dopasowuje zero lub więcej spacji następnie przecinkami następnie zero lub więcej spacji jako separatora.

Na przykład, oto "data.csv":

In [19]: !cat data.csv 
1.5, aaa, bbb , ddd  , 10 , XXX 
2.5, eee, fff ,  ggg, 20 ,  YYY 

(Pierwsza linia kończy z trzech miejsc po XXX, natomiast druga linia kończy się na ostatnim Y.)

następujących zastosowań pandas.read_csv() przeczytać pliki, z wyrażeniem regularnym ' *, *' jako ogranicznikiem. (Korzystanie z wyrażeń regularnych jako separator jest dostępna tylko w „python” silnika read_csv().)

In [20]: import pandas as pd 

In [21]: df = pd.read_csv('data.csv', header=None, delimiter=' *, *', engine='python') 

In [22]: df 
Out[22]: 
    0 1 2 3 4 5 
0 1.5 aaa bbb ddd 10 XXX 
1 2.5 eee fff ggg 20 YYY 

Answer 3

„Dane wartości [«»]. Str.strip()” odpowiedzieć na powyższe nie działa dla mnie , ale znalazłem prostą pracę. Jestem pewien, że jest lepszy sposób na zrobienie tego. Funkcja str.strip() działa w Serii. W ten sposób przekonwertowałem kolumnę siatki danych na serię, usunięto białe znaki, zastąpiłem przekształconą kolumnę z powrotem w ramkę danych. Poniżej znajduje się przykładowy kod.

import pandas as pd 
data = pd.DataFrame({'values': [' ABC ', ' DEF', ' GHI ']}) 
print ('-----') 
print (data) 

data['values'].str.strip() 
print ('-----') 
print (data) 

new = pd.Series([]) 
new = data['values'].str.strip() 
data['values'] = new 
print ('-----') 
print (new) 

Answer 4

Oto kolumna-wise rozwiązanie z zastosowania pandy:

import numpy as np 

def strip_obj(col): 
    if col.dtypes == object: 
     return (col.astype(str) 
        .str.strip() 
        .replace({'nan': np.nan})) 
    return col 

df = df.apply(strip_obj, axis=0) 

To będzie konwertować wartości w kolumnach typu obiektu do łańcucha. Należy zachować ostrożność w przypadku kolumn mieszanych. Na przykład, jeśli twoja kolumna jest kod pocztowy z 20001 i "21110", otrzymasz "20001" i "21110".

Answer 5

Natknąłem się na to pytanie, szukając szybkiego i minimalistycznego fragmentu, którego mógłbym użyć. Musiałem samemu złożyć go ze stanowisk powyżej. Może ktoś uzna to za przydatne:

data_frame_trimmed = data_frame.apply(lambda x: x.str.strip() if x.dtype == "object" else x)