Cassandras Map Reduce Support

Question

Niedawno natknąłem się na przypadek, w którym Cassandra doskonale pasuje do przechowywania wydarzeń opartych na czasie z niestandardowymi ttami na typ wydarzenia (innym rozwiązaniem byłoby zapisanie go w hadoopie i ręczne wykonanie ksiąg (ttls i inne), IMHO to bardzo złożony pomysł) lub przejść na hbase). Pytanie brzmi, jak dobra obsługa Kasandra MapReduce działa po wyjęciu z pudełka bez edycji Datastax Enterprise.

Wygląda na to, że zainwestowali dużo w CassandraFS, ale zadaję sobie pytanie, czy normalna świnia CassandraLoader jest aktywnie utrzymywana i faktycznie skalowana (jak się wydaje, nie robi nic więcej niż iterować po rzędach w plasterkach). Czy to działa dla setek milionów wierszy?

Answer 1

Dlaczego nie hbase? Hbase jest bardziej odpowiedni dla danych Timeseries. Możesz łatwo umieścić miliardy wierszy w bardzo małych klastrach i uzyskać do 500 tys. Wierszy na sekundę w małym klastrze 3-krotnym (do 50 MB/s) z włączoną opcją WAL. Cassandra ma kilka wad:

1. W Cassandra faktycznie ograniczone ilości kluczy (wyobraź sobie, że w przypadku miliardów wierszy Twój naprawa będzie działać zawsze). Więc zaprojektujesz schemat, który "odrzuci" cię o, powiedzmy, godzinę, a aktualny znacznik czasu zostanie umieszczony w kolumnach. Jednak taki system nie jest skalowany ze względu na wysokie ryzyko "wielkich kolumn".
2. Inny problem - nie można zmapować zakresu danych w kassandra, z wyjątkiem korzystania z uporządkowanego partycjonera, co nie jest opcją ze względu na jego niezdolność do prawidłowego bilansowania.

Answer 2

Możesz mapować/zmniejszać używając losowego partycjonera, ale oczywiście otrzymane klucze są w losowej kolejności. prawdopodobnie będziesz chciał użyć CL = 1 w Kasandra, więc nie musisz czytać od 2 węzłów za każdym razem, robiąc mapę/zmniejszaj i powinieneś czytać lokalne dane. Nie używałem jednak świni.