2017-05-28 12 views
6

Mamy do użycia przypadki, w których chcielibyśmy przechowywać dużą ilość danych w Google Bigtable na długie okresy:zachować dane w Google Bigtable dla dłuższych okresów

  • etapie opracowywania produktu
  • do tuningu
  • dla dema

Musimy do przechowywania danych, ale tak naprawdę nie muszą to być „online” przez cały czas. Obecne wąskie gardło kosztów wydaje się być kosztem węzłów, które w tych przypadkach są bezczynne przez długie okresy.

Jak Google Bigtable jest używany podczas tworzenia produktu? Zdaję sobie sprawę z trybu programowania (i emulatora) i są one dobre w przypadku niektórych przypadków użycia, ale wciąż potrzebujemy środowiska produkcyjnego do innych przypadków użycia.

To, co byłoby idealne, to możliwość przełączania "wyłączenia" Bigtable (przy jednoczesnym płaceniu za dane przechowywane, ale nie dla węzłów) i wywoływania węzłów w razie potrzeby. Nie wierzę, że ta funkcja istnieje. W przypadku jej braku istnieją inne możliwe rozwiązania/alternatywy?

+0

Z ciekawości, co się stanie, jeśli wyłączysz rozliczenia dla danego projektu? Wiem, że działa to, co próbujesz zrobić dla innych typów projektów GCP. –

+0

@DominicTracey: Dzięki - Próbuję tego. Komunikat o wyłączeniu rozliczeń nie jest jednak bardzo konkretny. Po wyłączeniu moja instancja Bigtable nadal jest "tam", chociaż z pewnością jest to obiecująca, obawiam się, że w pewnym momencie zostanie ona usunięta. Będę mieć oko i opublikuję to, co znajdę. –

+1

Ile danych przechowujesz? Przypuszczam, że ponowne zaimportowanie danych z kopii zapasowej nie jest możliwe? Kiedy musisz zrobić demo, potrzebujesz dostępu do odczytu i zapisu lub tylko do odczytu? Czy udostępniasz użytkownikom ruch na żywo, czy po prostu potrzebujesz analityki? Masz rację, że taka funkcja nie jest jeszcze dostępna, po prostu próbując ustalić, jakie parametry są istotne dla potencjalnych obejść. –

Odpowiedz

0

To interesujące pytanie. Zrobiłem to z mniejszymi projektami używającymi Datastore o znacznie mniejszych rozmiarach (~ 2 GB), które wisiały przez lata po wyłączeniu rozliczeń. Biorąc pod uwagę, ile kosztuje wykonanie kopii zapasowych/przywracania tych projektów, mogę sobie wyobrazić, że byłoby to rozwiązanie kosztowne w świecie BigTable. Rozczarowuje to, że Google nie dostarczył lepszego rozwiązania. Mówią o różnych storage classes, więc wyobrażam sobie, że wyłączenie projektu przeniesie jego zasoby do zimnej linii - ale to tylko spekulacja rangowa z mojej strony.

+0

Zdecydowanie uważam, że jest to możliwe obejście tego problemu. Zamierzam po prostu pozwolić, aby pytanie zawiesiło się trochę dłużej, aby zobaczyć, czy są jakieś inne sugestie (i także czekające na Mishę :-)) - w innym przypadku zaznaczę to jako odpowiedź. –

Powiązane problemy