BigQery dodaje kolumny do schematu tabeli

Question

Próbuję dodać nową kolumnę do istniejącej tabeli BigQuery. Próbowałem polecenia narzędzia bq i API. Dostaję następujący błąd podczas wywoływania funkcji Tables.update().

Próbowałem z zapewnieniem pełnego schematu z dodatkowym polem i to również daje mi ten sam błąd, jak pokazano poniżej.

Dzięki API dostaję następujący błąd:

{ 
"schema": { 
"fields": [ 
{ 
"name": "added_column", 
"type": "integer", 
"mode": "nullable" 
} 
] 
} 
} 

{ 
"error": { 
"errors": [ 
{ 
"domain": "global", 
"reason": "invalid", 
"message": "Provided Schema does not match Table [blah]" 
} 
], 
"code": 400, 
"message": "Provided Schema does not match Table [blah]" 
} 
} 

Dzięki narzędziu BQ mi się następujący błąd: ./bq aktualizacji -t bla added_column: integer

BigQuery błąd w operacji aktualizacji: Pod warunkiem Schema robi nie odpowiada tabeli [bla]

Answer 1

Spróbuj:

bq --format=prettyjson show yourdataset.yourtable > table.json 

Edytuj plik table.json i usuń wszystkie elementy poza polem "pól" (np. zachować [ { "name": "x" ... }, ... ]). Następnie dodaj nowe pole do schematu.

lub rury przez jq

bq --format=prettyjson show yourdataset.yourtable | jq .schema.fields > table.json 

Następnie uruchom:

bq update yourdataset.yourtable table.json 

Możesz dodać --apilog=apilog.txt do początku linii poleceń, które pokaże dokładnie to, co jest wysyłane/zwracane z serwera BigQuery.

Answer 2

W moim przypadku próbowałem dodać pole REQUIRED do tabeli szablonów i wystąpił ten błąd. Zmiana pola na NULLABLE, pozwól mi zaktualizować tabelę.

Nowsza wersja najnowszych aktualizacji dla każdego, kto potknie się o Google.

#To create table 
bq mk --schema domain:string,pageType:string,source:string -t Project:Dataset.table 
#Or using schema file 
bq mk --schema SchemaFile.json -t Project:Dataset.table 


#SchemaFile.json format 
[{                                                             
    "mode": "REQUIRED", 
    "name": "utcTime", 
    "type": "TIMESTAMP" 
},  
{ 
    "mode": "REQUIRED", 
    "name": "domain", 
    "type": "STRING" 
}, 
{ 
    "mode": "NULLABLE", 
    "name": "testBucket", 
    "type": "STRING" 
}, 
{ 
    "mode": "REQUIRED", 
    "name": "isMobile", 
    "type": "BOOLEAN"                                                      
}, 
{ 
    "mode": "REQUIRED", 
    "name": "Category", 
    "type": "RECORD", 
    "fields": [ 
    { 
     "mode": "NULLABLE", 
     "name": "Type", 
     "type": "STRING" 
    }, 
    { 
     "mode": "REQUIRED", 
     "name": "Published", 
     "type": "BOOLEAN" 
    } 
    ] 
}] 

# TO update 
bq update --schema UpdatedSchema.json -t Project:Dataset.table 
# Updated Schema contains old and any newly added columns 

Some docs tabel szablonu