Eksportowanie Scikit Learn Losowo Forest do użytku na platformie Hadoop

Question

Opracowałem klasyfikator spamu przy użyciu pand i scikit, ucząc się do momentu, w którym jest on gotowy do integracji z naszym systemem opartym na hadoopie. W tym celu muszę wyeksportować klasyfikator do bardziej powszechnego formatu niż marynowanie.

Predykcyjny model języka znaczników (PMML) jest moim preferowanym formatem eksportu. Gra bardzo dobrze z Kaskadą, z której już korzystamy. Jednak, co zaskakujące, nie mogę znaleźć żadnych bibliotek Pythona, które eksportują modele uczenia się scikita do PMML.

Czy ktoś miał doświadczenie w tym przypadku użycia? Czy istnieje jakaś alternatywa dla PMML, która zapewniałaby interoperacyjność pomiędzy nauką sci-kita a maczkiem? A co z solidną biblioteką eksportową PMML?

Answer 1

Możesz użyć Py2PMML, aby wyeksportować model do PMML, a następnie ocenić go na Hadoop przy użyciu JPMML-Cascading. JPMML jest open source, ale Py2PMML z Zementis wydaje się produktem komercyjnym. Poza tą alternatywą nie ma innych narzędzi do oceny modeli Scikit eksportowanych jako PMML na Java/Hadoop. Głównym zespołem ds. Badania scikit jest planning, aby zaimplementować eksporter PMML. Ale jeśli nie chcesz żadnych rozwiązań komercyjnych lub czekać na takiego narzędzia do realizacji wciąż masz kilka opcji, ale wymagają trochę Kodowanie:

• Adaptacja projektu więc generuje kod Java/MapReduce zamiast C.
• Za pomocą funkcji export_graphviz uzyskaj reprezentację DOT dla każdego drzewa decyzyjnego i napisz małego tłumacza Java.
• Zapomnij o Javie i Hadoopie, użyj Apache Spark i oceń każdy z drzew decyzyjnych równolegle używając Pythona, Scikita i PySparku.

Mam nadzieję, że pomoże!