Prowadzenie rozproszonych baz danych zsynchronizowane w niestabilnej sieci

Question

mam skierowaną następujące wyzwanie:

Mam kilka baz danych w różnych lokalizacjach geograficznych, w których sieć może fail dużo (używam sieci komórkowej). Muszę zsynchronizować wszystkie bazy danych, ale nie trzeba być w czasie rzeczywistym. Używam Java, ale mam swobodę wyboru dowolnej bezpłatnej bazy danych.

Wszelkie sugestie, w jaki sposób mogę to osiągnąć.

Dzięki.

Answer 1

Nie znam żadnych baz danych, które zapewnią tę funkcjonalność po wyjęciu z pudełka; jest tu dużo złożoności ze względu na konieczność ostatecznej spójności i rozwiązywania konfliktów (np. co się stanie, jeśli sieć zostanie podzielona na dwie połówki i zaktualizujesz coś do wartości 123, a ja zaktualizuję ją na drugiej połowie do 321, a następnie sieci ponownie się łączą?)

Być może trzeba będzie wykonać własne.

Dla niektórych pomysłów, jak to zrobić, zapoznaj się z konstrukcji systemu Yahoo PNUTS: http://research.yahoo.com/node/2304 i Amazon Dynamo: http://www.allthingsdistributed.com/2007/10/amazons_dynamo.html

Answer 2

Nie znam twoich wymagań ani twoich aplikacji, ale to nie jest typ szybkiego pytania. Jestem bardzo zainteresowany, aby zobaczyć, co inni mają do powiedzenia. Mam jednak sugestię, która może, ale nie musi, działać w twoim przypadku, w zależności od Twoich wymagań i sytuacji. w szczególności nie pomoże to użytkownikom, którzy muszą korzystać z aplikacji nawet wtedy, gdy sieć jest niedostępna (dostęp offline).

Utrzymanie małej liczby zsynchronizowanych baz danych jest dość skomplikowanym zadaniem. Czy istnieje możliwość posiadania tylko jednej scentralizowanej bazy danych i czy aplikacje klienta łączą się bezpośrednio z nią lub (moje preferowane rozwiązanie) zapisują niektóre usługi internetowe, aby obsłużyć dostęp do/aktualizację danych, zamiast mieć wiele baz danych klientów?

Rozumiem, że ogranicza to dostęp w trybie offline, ale można korzystać z różnych strategii buforowania. (Co oczywiście prowadzi z powrotem do pierwotnego pytania.)

Answer 3

Jest to problem z zupełnie ustanowionego corpus badań (z których ludzie najwyraźniej nieświadomy) . Proponuję, aby nie wymyślić na nowo słabe, uszkodzone koło, jeśli nie jest to absolutnie konieczne (takie jak na przykład tak niezwykłe wymagania, aby pozwolić na trywialne rozwiązanie).

Niektóre słowa kluczowe: replication, mobile DBMSs, distributed disconnected DBMSs.

Również te prace badawcze są istotne (jako przykład tego pola badawczego):

1. Distributed disconnected databases,
   • The dangers of replication and a solution,
   • Improving Data Consistency in Mobile Computing Using Isolation-Only Transactions,
   • Dealing with Server Corruption in Weakly Consistent, Replicated Data Systems,
   • Rumor: Mobile Data Access Through Optimistic Peer-to-Peer Replication,
   • The Case for Non-transparent Replication: Examples from Bayou,
   • Bayou: replicated database services for world-wide applications,
   • Managing update conflicts in Bayou, a weakly connected replicated storage system,
   • Two-level client caching and disconnected operation of notebook computers in distributed systems,
   • Replicated document management in a group communication system,

... i tak dalej.

Answer 4

Sprawdź SymmetricDS. SymmetricDS jest niezależnym od bazy danych oprogramowaniem do synchronizacji/replikacji danych. Wykorzystuje technologie sieciowe i bazodanowe do replikowania tabel między relacyjnymi bazami danych w czasie zbliżonym do rzeczywistego. Oprogramowanie zostało zaprojektowane w taki sposób, aby skalować do dużej liczby baz danych, pracować w połączeniach o niskiej przepustowości i wytrzymywać okresy przerwy w sieci.