Przenoszenie dużych danych między serwerami Szybkie

Question

Jest to częste pytanie, ale Google to daje mnóstwo bzdur.

Jak ilości danych są coraz wyżej i wyżej, cały czas z mocą przetwarzania & cloud możliwości, jesteśmy świadkami rosnącą potrzebę szybkich technologii transferu danych umożliwiających uwolnienie mocy całej tej podstawie dostępnych danych poprzez rozłożenie/przenoszenie/Udostępnianie na różnych serwerach/klientach.

W naszym przypadku rejestrujemy dane binarne w czasie rzeczywistym (50 Gigs dziennie) i musimy je codziennie przesyłać/pobierać do/od abonentów (tak, wszystko to jest potrzebne lokalnie przez każdy serwer abonenta, dla informatyki i różne analizy danych rzeczy)

więc umieścić to na krótko, jakie są opcje dostępne dzisiaj przenieść wiele gigabajtów danych bardzo szybko pomiędzy zdalnymi okien serwery (VPS, w obłoku z „dość” spójny bandwitdth - (światłowód odłożono na bok))

To jest pytanie otwarte. Każdy pomysł jest mile widziany bez względu na protokół.

Answer 1

Wyzwanie związane z wysyłaniem i odbieraniem danych w sieci jest wielorakie.

1. przepustowość sieci jest czynnikiem najbardziej ograniczającymi nie ma prawie nic można zrobić, za to na poziomie aplikacji (z wyjątkiem okazjonalnych kompresować dane, a nawet w tym przypadku racja kompresji określa zysk). Tak szybsza sieć jest pierwszym wyborem.

2. Niektóre protokoły są bardziej odpowiednie do przesyłania określonego rodzaju plików/danych. Na przykład http jest protokołem tekstowym i nie jest odpowiedni dla zawartości binarnej i dużej. Ale ponieważ jest to najpopularniejszy protokół sieciowy, który wymaga przesyłania treści binarnych za pośrednictwem kabla, rozwinęły się takie techniki, jak encoding and chunking. HTTP to naprawdę nie jest wybór, jeśli twoje dane są w kolejności GB, co jest twoim przypadkiem.

3. FTP to najpopularniejszy protokół używany do przesyłania plików przez sieć i specjalnie zaprojektowany do przesyłania plików. Istnieje kilka rozszerzeń FTP, takich jak GridFTP, bbftp, które są specjalnie zaprojektowane pod specjalnie zaprojektowane dla dużych transferów danych.

4. BitTorrents to kolejna opcja, którą można zbadać. Facebook wykorzystuje BitTorrents do przekazywania plików binarnych na serwery (dziesiątki tysięcy w liczbie).

Problem jest bardzo otwarty i jestem ograniczony moim doświadczeniem :). Here is link Znalazłem oferty dużych transferów danych. Mam nadzieję, że to ci pomoże.