Wstawianie lub usuwanie kroku w scikit-learn Pipeline

Question

Czy można usunąć lub wstawić krok w obiekcie sklearn.pipeline.Pipeline?

Próbuję wykonać wyszukiwanie siatki z jednym krokiem lub bez niego w obiekcie Pipeline. Zastanawiam się, czy mogę wstawić lub usunąć krok w potoku. W kodzie źródłowym Pipeline widziałem obiekt self.steps zawierający wszystkie kroki. Możemy uzyskać kroki od named_steps(). Przed zmianą, chcę się upewnić, że nie powoduję nieoczekiwanych efektów.

Oto przykładowy kod:

from sklearn.pipeline import Pipeline 
from sklearn.svm import SVC 
from sklearn.decomposition import PCA 
estimators = [('reduce_dim', PCA()), ('svm', SVC())] 
clf = Pipeline(estimators) 
clf 

Czy to możliwe, że robimy coś podobnego steps = clf.named_steps(), a następnie wstawić lub usunąć na tej liście? Czy powoduje to niepożądany efekt na obiekcie clf?

Answer 1

Tak, to jest możliwe, ale musisz spełnić te same wymagania, których Pipeline wymaga przy inicjalizacji, tzn. Nie możesz wstawiać predykatora w żadnym kroku poza ostatnim, powinieneś zadzwonić pod numer fit po aktualizacji Pipeline.steps, ponieważ po takiej aktualizacji wszystkie kroki (może zostały nauczone w poprzednich rozmowach fit) zostaną unieważnione, także ostatni etap Pipeline powinien zawsze implementować metodę fit, wszystkie poprzednie kroki powinny implementować fit_transform.

Tak, będzie działać w aktualnej bazie kodu, ale myślę, że nie jest to dobre rozwiązanie dla twojego zadania, to sprawia, że ​​twój kod jest bardziej zależny od aktualnej implementacji Pipeline, myślę, że wygodniej jest stworzyć nowy Pipeline ze zmodyfikowanymi krokami , ponieważ Pipeline przynajmniej sprawdzi wszystkie twoje kroki podczas inicjalizacji, także tworzenie nowego potoku nie będzie się znacząco różnić pod względem szybkości od modyfikowania kroków istniejącego potoku, ale jak już powiedziałem - tworzenie nowego potoku po każdej modyfikacji kroków jest bezpieczniejsze w przypadku, gdy ktoś znacząco zmieni implementację Pipeline.

Answer 2

podstawie testów szczątkowej można bezpiecznie usunąć krok od A scikit-learn rurociągu po prostu jak każdy element listy, z prostym

clf_pipeline.steps.pop(n) 

gdzie n jest pozycja poszczególnych estymatora próbujesz usuwać.

Answer 3

Widzę, że wszyscy wspomnieli tylko o kroku usuwania. W przypadku, gdy chcesz również wstawić krok w rurociągu:

pipe.steps.append(['step name',transformer()]) 

pipe.steps działa w taki sam sposób, jak list zrobić, więc można też wstawić element do określonej lokalizacji:

pipe.steps.insert(1,['estimator',transformer()]) #insert as second step 

Answer 4

Mamy opracował PipeGraph, rozszerzenie do Pipeline do tworzenia bardziej złożonych wykresów, takich jak przepływy pracy. Umożliwia zmianę połączeń w przepływie pracy podczas przeszukiwania siatki (zobacz przykładową galerię pod adresem https://mcasl.github.io/PipeGraph/).