BigQuery COUNT (wartość DISTINCT) vs COUNT (wartość)

Question

Znalazłem błąd/błąd w bigquery. Dostaliśmy stolik na podstawie danych Banku Statistics ramach celu starschema.net:clouddb:bank.Banks_token

Jeżeli uruchomić następujące zapytanie:

SELECT count(*) as totalrow, 
count(DISTINCT BankId) as bankidcnt 
FROM bank.Banks_token; 

i uzyskać następujący wynik:

Row totalrow bankidcnt  
1 9513 9903  

Moim problemem jest to, że jeśli mam 9513row, jak mogę uzyskać 9903row, który jest 390row większy niż liczba wierszy w tabeli.

Answer 1

W BigQuery COUNT DISTINCT jest przybliżenie statystyczne dla wszystkich wyników większa niż 1000.

Możesz podać opcjonalny drugi argument, aby dać próg, przy którym używane są przybliżone. Więc jeśli użyjesz w swoim przykładzie COUNT (DISTINCT BankId, 10000), powinieneś zobaczyć dokładny wynik (ponieważ rzeczywista liczba wierszy jest mniejsza niż 10000). Należy jednak pamiętać, że użycie większego progu może być kosztowne pod względem wydajności.

Zobacz pełną dokumentację tutaj: https://developers.google.com/bigquery/docs/query-reference#aggfunctions

---

UPDATE 2017:

Dzięki BigQuery #standardSQL COUNT(DISTINCT) jest zawsze dokładna. Aby uzyskać przybliżone wyniki, należy użyć APPROX_COUNT_DISTINCT(). Dlaczego ktoś miałby używać przybliżonych wyników? See this article.

Answer 2

Użyłem EXACT_COUNT_DISTINCT() jako sposobu na uzyskanie dokładnej liczby unikalnych. To czystsze i bardziej ogólne niż count (wartości różne, n> NumRows)

znaleźć tutaj: https://cloud.google.com/bigquery/query-reference#aggfunctions