Tworzenie manekinów w rurociągu o różnych poziomach w zestawie kolejkowym i testowym

Question

Obecnie badam potoki nauki o scikitach. Chcę również wstępnie przetworzyć dane za pomocą potoku. Jednak moje dane pociągu i testu mają różne poziomy zmiennej kategorycznej. przykład: Rozważmy:

import pandas as pd 
train = pd.Series(list('abbaa')) 
test = pd.Series(list('abcd')) 

Napisałem TransformerMixinClass pomocą pandy

class CreateDummies(TransformerMixin): 

def transform(self, X, **transformparams): 
    return pd.get_dummies(X).copy() 

def fit(self, X, y=None, **fitparams): 
    return self 

plony fit_transform dla danych kolejowych 2 kolumny i danych testowych 4 kolumny. Więc nic dziwnego tutaj, ale nie nadaje się do rurociągu

Similary, próbowałem zaimportować koder etykiety (i OneHotEncoder dla potencjalnych kolejnych etapach):

from sklearn.preprocessing import LabelEncoder, OneHotEncoder 
le = LabelEncoder() 
le.fit_transform(train) 
le.transform(test) 

których plony, nie jest zaskoczeniem, błąd.

Problem polega na tym, że potrzebuję pewnych informacji zawartych w zestawie testowym. Czy istnieje dobry sposób na uwzględnienie tego w potoku?

Answer 1

Można użyć categoricals jak wyjaśniono w this answer:

categories = np.union1d(train, test) 
train = train.astype('category', categories=categories) 
test = test.astype('category', categories=categories) 

pd.get_dummies(train) 
Out: 
    a b c d 
0 1 0 0 0 
1 0 1 0 0 
2 0 1 0 0 
3 1 0 0 0 
4 1 0 0 0 

pd.get_dummies(test) 
Out: 
    a b c d 
0 1 0 0 0 
1 0 1 0 0 
2 0 0 1 0 
3 0 0 0 1