Jak zakodować zmienną kategoryczną w sklearn?

Question

Próbuję użyć zestawu danych oceny samochodu z repozytorium UCI i zastanawiam się, czy istnieje wygodny sposób binaryzacji zmiennych jakościowych w sklearn. Jednym z podejść byłoby użycie DictVectorizer z LabelBinarizera, ale tutaj dostaję k różnych funkcji, podczas gdy powinieneś mieć tylko k-1, aby uniknąć kolinearyzacji. Zgaduję, że mógłbym napisać własną funkcję i upuścić jedną kolumnę, ale ta księgowość jest nudna, czy istnieje prosty sposób na przeprowadzenie takich przekształceń i uzyskanie w rezultacie rzadkiej matrycy?

Answer 1

DictVectorizer jest zalecanym sposobem generowania jedno-gorącego kodowania zmiennych jakościowych; możesz użyć argumentu sparse, aby utworzyć rzadką matrycę CSR zamiast gęstej tablicy numpy. Zwykle nie dbam o wieloklinowość i nie zauważyłem problemu z podejściami, z których korzystam (tj. LinearSVC, SGDClassifier, metody oparte na drzewach).

Nie powinno być problemu z łataniem DictVectorizera, aby upuścić jedną kolumnę na kategorię - wystarczy, że usuniesz jeden termin z DictVectorizer.vocabulary na końcu metody fit. (Wnioski Pull są zawsze mile widziane!)

Answer 2

Podstawową metodą jest

import numpy as np 
import pandas as pd, os 
from sklearn.feature_extraction import DictVectorizer 

def one_hot_dataframe(data, cols, replace=False): 
    vec = DictVectorizer() 
    mkdict = lambda row: dict((col, row[col]) for col in cols) 
    vecData = pd.DataFrame(vec.fit_transform(data[cols].apply(mkdict, axis=1)).toarray()) 
    vecData.columns = vec.get_feature_names() 
    vecData.index = data.index 
    if replace is True: 
     data = data.drop(cols, axis=1) 
     data = data.join(vecData) 
    return (data, vecData, vec) 

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'], 
     'year': [2000, 2001, 2002, 2001, 2002], 
     'pop': [1.5, 1.7, 3.6, 2.4, 2.9]} 

df = pd.DataFrame(data) 

df2, _, _ = one_hot_dataframe(df, ['state'], replace=True) 
print df2 

Oto jak to zrobić w formacie rozrzedzony

import numpy as np 
import pandas as pd, os 
import scipy.sparse as sps 
import itertools 

def one_hot_column(df, cols, vocabs): 
    mats = []; df2 = df.drop(cols,axis=1) 
    mats.append(sps.lil_matrix(np.array(df2))) 
    for i,col in enumerate(cols): 
     mat = sps.lil_matrix((len(df), len(vocabs[i]))) 
     for j,val in enumerate(np.array(df[col])): 
      mat[j,vocabs[i][val]] = 1. 
     mats.append(mat) 

    res = sps.hstack(mats) 
    return res 

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'], 
     'year': ['2000', '2001', '2002', '2001', '2002'], 
     'pop': [1.5, 1.7, 3.6, 2.4, 2.9]} 

df = pd.DataFrame(data) 
print df 

vocabs = [] 
vals = ['Ohio','Nevada'] 
vocabs.append(dict(itertools.izip(vals,range(len(vals))))) 
vals = ['2000','2001','2002'] 
vocabs.append(dict(itertools.izip(vals,range(len(vals))))) 

print vocabs 

print one_hot_column(df, ['state','year'], vocabs).todense() 

Answer 3

jeśli dane jest DataFrame pandy, to możesz po prostu zadzwoń get_dummies. Załóżmy, że twoja ramka danych jest df i chcesz mieć jedną zmienną binarną na każdy poziom zmiennej "klucz". Możesz po prostu zadzwonić:

pd.get_dummies(df['key']) 

a następnie usunąć jedną ze zmiennych fikcyjnych, aby uniknąć problemu multi-współliniowości. Mam nadzieję, że to pomoże ...