2014-06-24 9 views
6

Zastanawiam się, czy mogę uzyskać wgląd w możliwości wykorzystania BigQuery jako podstawowego silnika zapytań dla narzędzia analitycznego, które rozwijamy. Nasz publiczny interfejs API będzie musiał realistycznie wykonywać co najmniej setki równoległych zapytań SELECT przy użyciu pakietu PHP SDK (w potencjalnie 100 milionach wierszy), ale z obecnej dokumentacji wygląda na to, że BigQuery jest bardziej nastawiony na nieczęste zapytania niż na zapewnienie wysokiego wolumenu, wysokiego obciążenia na żądanie zapytania.Czy BigQuery może być używany jako podstawowy silnik zapytań?

Wygląda na to, że niektóre firmy wymienione na stronie Google robią podobne rzeczy, ale widziałem także limity stawek 20 równoczesnych żądań, co wydaje się wykluczać ten przypadek użycia dla produktu?

Odpowiedz

2

Cieszę się, że pytasz. Zwykli użytkownicy BigQuery podlegają ograniczeniom limitu stawek współbieżnych, ale istnieje opcja, która pasowałaby do dokładnie opisanego przypadku użycia: Zarezerwowana pojemność.

Przy rezerwowanej pojemności otrzymujesz swój własny "oddzielny klaster", nie podlegający tym samym ograniczeniom, ale te, które definiujesz.

Aby uzyskać więcej informacji, sprawdź numer https://developers.google.com/bigquery/pricing#reserved_cap.

+0

Dziękujemy za wyjaśnienie tego Felipe! – Andy

+0

co się stanie, jeśli utworzę kilka identyfikatorów projektu? Czy oparty jest na projekcie limit współbieżności, oparty na tabeli lub o-sesji? – amenadiel

+0

Próba obejścia ograniczeń przez znajdowanie luk w zabezpieczeniach może zostać zakwalifikowana jako nadużycie przez warunki korzystania z usługi. Lepsza sprzedaż kontaktów, aby znaleźć odpowiednie rozwiązania i alternatywy. –

1

To decyzja architektoniczna. Moja osobista opinia: NIE wziąłbym pod uwagę BigQuery, jeśli oczekujesz, że kilku różnych użytkowników będzie używać jednocześnie API. To byłoby drogie i ryzykowne. Myślę, że powinieneś mieć surowe dane na temat Big Query i spróbować wymyślić mechanizm, który będzie służył klientom w bardziej efektywny sposób, być może przy użyciu pamięci podręcznej lub zapisywania niektórych wyników/migawek w magazynie danych lub może w CloudSQL.

+2

Dziękuję za opinię, rozważam także ten styl strategii jako opcję, być może używając czegoś takiego jak ElasticSearch dla "gorących danych" i BQ jako magazynu/kreacji zastępczej. – Andy

Powiązane problemy