Wariacje cenowe Bigquery?

Question

Biegniemy tego narzędzia przez około 4 miesięcy i mamy kilka ciekawych uwag i pytań dotyczących pricings:

1. modelu ceny są całkiem niewyjaśnione potrzebuje wyjaśnień dla przyłącza, związki i tak dalej
2. jeśli uruchomię przyłączyć na małym stole moje przetwarzane dane wzrosną dla każdej kopii małego stołu, który został pomnożony w silniku bigquery?
3. Jeśli ponownie wykorzystam to samo zapytanie podrzędne w zapytaniu, to nowe przetwarzanie danych bez względu na to samo podkwerendy? Czy można to w jakikolwiek sposób zoptymalizować? Czy nie buforuje danych bigquery?
4. Czy minimalny rozmiar jest zaokrąglany w górę do przetwarzania danych? Nasze obserwacje mówią, że to 4MB, czy to prawda?
5. W Google Console występuje problem z lokalizacjami geograficznymi, twierdzi, że większość zapytań jest wykonywanych z urzędu certyfikacji, który jest nieprawidłowy, ponieważ moja firma znajduje się w Europie i cały rozwój jest tam wykonywany. Sprawdziłem wszystkie adresy IP i nie ma żadnego CA ip. Czy można uzyskać bardziej szczegółowy raport?
6. Jeśli chodzi o 5, chcielibyśmy uzyskać historię zapytań i cenę dla każdego z nich. Jak możemy to zrobić? Czy nasze oprogramowanie musi to czynić?
7. Odnośnie 3) Mam ogromny problem z przetwarzaniem danych (dlatego zadałem wszystkie pytania). Mój cały zbiór danych ma około 150 MB, a mój rozmiar DP na zapytanie jest 3 razy większy? Jeśli bigquery odczyta moje całe dane, nie osiągnie rozmiarów wyświetlanych na przetwarzanych danych. Kiedy są wszystkie przypadki, w których dane zostaną ponownie przeczytane, a zatem nowy DP będzie miał miejsce? I jak to się liczy?

Dziękuję.

Pozdrawiam, Tomislav

Answer 1

1. Cen jest dość prosta do przyłącza, związki, itd. Niezależnie od źródła danych należy czytać, zostaje naładowana dokładnie raz. Jeśli na przykład dokonasz samodzielnego łączenia, nadal pobierasz tylko opłatę za jednorazowy odczyt danych.
2. Patrz # 1. Bez względu na to, jak działa bigquery wewnętrznie, opłata powinna zostać naliczona tylko raz.
3. BigQuery wykonuje dane z pamięci podręcznej na zasadzie najlepszego wysiłku. Jeśli ponownie uruchomisz zapytanie, pamięć podręczna zostanie zaznaczona. Jeśli istnieje trafienie w pamięci podręcznej, opłata nie zostanie naliczona za ponowne uruchomienie zapytania. Zwróć uwagę, że tylko pełne wyniki zapytania są buforowane; jeśli zmodyfikujesz zapytanie lub użyjesz go w podkwerendie, pamięć podręczna nie będzie używana.
4. BigQuery zaokrągla do 1MB, co najmniej 10 MB.
5. Nie wiedziałem o żadnej geolokalizacji w konsoli Google. Gdzie widzisz te informacje?
6. Możesz uzyskać historię zapytań i ilość danych przetwarzanych przez nich za pośrednictwem apletu jobs.list.
7. Czy możesz wysłać identyfikator zadania, które uruchomiłeś, które było większe niż oczekiwano. Obliczenia, które są wykonywane, to: 8 bajtów * (liczba wierszy przeczytanych kolumn całkowitych i zmiennoprzecinkowych) + 2 bajty * (całkowita długość wszystkich ciągów w kolumnach ciągów).

Daj mi znać, jeśli to odpowie na twoje pytania.

Answer 2

Mogę podać wyjaśnienie dla # 5.

W konsoli Google APIs w sekcji REPORTS znajdują się informacje demograficzne dotyczące żądań interfejsu API dla projektu.Podejrzewam, że ma to mniej wspólnego z BigQuery i ma więcej wspólnego z Google APIs Console.