2013-07-07 12 views
5

Czy możliwe jest skonfigurowanie Mahouta do pobierania danych wejściowych z klastra Cassandra podczas wykonywania Zadania Polecającego przez Hadoop?Skalowanie Cassandry i Mahouta z Hadoopem

Znalazłem kilka zasobów na ten temat - patrz http://www.acunu.com/2/post/2011/08/scaling-up-cassandra-and-mahout-with-hadoop.html, ale wskazania tam opisane wydają się nie działać (wypróbowane zarówno na mahout-0,6 i mahout-0,7). Dla istance itemIDIndexPath zmienna nie występuje w klasie RecommenderJob ani w klasach abstrakcyjnych rozciąga się.

Odpowiedz

0

Próbowałem uruchomić kwerendy Pig/Hive przeciwko Cassandra i okazało się, że jest raczej niestabilny pod obciążeniem. Problem polega na tym, że ścieżka do czytania Cassandry jest raczej nieefektywna, szczególnie nad oszczędzaniem. Polecam przesłać dane do HDFS jako etap pośredni i przetworzyć go stamtąd