MapReduce alternatives

Question

Czy są jakieś alternatywne paradygmaty dla MapReduce (Google, Hadoop)? Czy istnieje jakikolwiek inny rozsądny sposób podziału dużych problemów z połączeniem &?

Answer 1

Definitively. Sprawdź na przykład Bulk Synchronous Parallel. Map/Reduce jest w rzeczywistości bardzo ograniczonym sposobem zmniejszania problemów, jednak ograniczenie to umożliwia zarządzanie w ramach takich jak Hadoop. Pytanie brzmi, czy nie ma problemu, aby wcisnąć swój problem w ustawienie Map/Reduce, lub czy łatwiej jest stworzyć schemat równoległy specyficzny dla konkretnej domeny i samemu zająć się wszystkimi szczegółami implementacji. Pig to w rzeczywistości tylko warstwa abstrakcji na szczycie Hadoop, która automatyzuje wiele standardowych transformacji problemowych z funkcji nie-Map-Reduce-y na Map-Reduce.

Edit 26.01.13: znalaz? nice up-to-date overview here

Answer 2

Phil Colella zidentyfikowano siedem metod numerycznych do obliczeń naukowych na podstawie wzorców rozpraszania i zbierania danych pomiędzy węzłami przetwarzania, i nazwał je „krasnoludki”. Zostały one dodane do przez innych, wykaz dostępny jest na Dwarf Mine:

1. Gęsty Linear Algebra
2. Rzadki algebra liniowa
3. Metody widmowe
Metod
4. N-Body
5. strukturyzowane Siatki
6. Siatki niestrukturalne
7. MapReduce
8. Kombinatkowy Logi c
9. Graph Traversal
10. programowania dynamicznego
11. Backtrack i rozgałęzienia i związanego
12. graficzne Modele Machines
13. Finite State

Answer 3

Microsoft Dryad jest uważana za bardziej ogólne niż MapReduce.

Answer 4

Aktualizacja (sierpień 2014): Stratosfera nazywa się teraz Apache Flink (inkubacja).

Spójrz na Stratosphere. Jest to kolejne środowisko uruchomieniowe Big Data, które oferuje więcej operatorów (mapowanie, redukowanie, łączenie, łączenie, krzyżowanie, iteracja, ...). Pozwala również na definiowanie zaawansowanych wykresów przepływu danych (przy Hadoop MR, będziesz musiał łączyć zadania).

Stratosphere obsługuje również BSP z jego abstrakcją przetwarzania wykresu (o nazwie Spargel).

Jeśli chcesz przeczytać artykuły naukowe, spójrz na Nephele/PACTs: A Programming Model and Execution Framework for Web-Scale Analytical Processing, wyjaśnia teoretyczne podstawy systemu.

Kolejny system w tej dziedzinie to Spark, który ma swój własny model (RDD). Ponieważ wspomniano tu o BSP, warto również zapoznać się z ofertą GraphLab, która jest alternatywą dla BSP.