2016-10-10 17 views
5

W loading data into BigQuery pojawia się następujący błąd (skopiowany z historii zadań w konsoli internetowej BigQuery).Jak mogę załadować dane do BigQuery bez błędu formatu ProtoBuf?

Errors: 
query: Failed to load FileDescriptorProto for '_GEN_DREMEL_ONESTORE_METADATA_SCHEMA_': (error code: invalidQuery) 
Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 
Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 
[... repeated a total of exactly 1000 times...] 
Field numbers 19000 through 19999 are reserved for the protocol buffer library implementation. 

(error code: invalidQuery) 

Dane to kopia zapasowa zarządzana przez Datastore. (Ludzie z tego zespołu wysłali mnie do BigQuery po pomoc.)

Błąd występuje z jednym z sześciu losowo wybranych rodzajów; pozostałe ładują się pomyślnie. Ponadto ładowanie innego rodzaju powoduje błąd "zbyt wiele pól: 10693 (kod błędu: nieprawidłowy)".

Zarówno uszkodzone, jak i udane mają podobną wielkość ~ 15 gigabajtów danych.

Co możemy zrobić, aby załadować te dane?

+0

Dziękuję za zgłoszenie. Czy masz job_id, na który możemy spojrzeć? –

+0

bquijob_5ae806a6_157d8486814 wyświetla "za dużo pól: 10693 (kod błędu: nieprawidłowy)". A bquijob_2129fd00_157a9f47a5d wyświetla komunikat "zarezerwowany dla biblioteki bufora protokołu". Proszę wysłać wiadomość do mnie, jeśli chcesz uzyskać więcej informacji (abyśmy mogli zachować szczegóły prywatne). –

Odpowiedz

3

To było spowodowane przez BigQuery's limitation: Maksymalnie 10000 kolumn na stół. Narzędzie do ładowania kopii zapasowej Datastore po prostu nie działa w tym przypadku.

Powiązane problemy