Anulowanie zadań bez dataloss na DataFlow

Question

Próbuję znaleźć sposób, aby z wdziękiem zakończyć moje prace, aby nie stracić żadnych danych, strumieniowanie z PubSub i pisanie do BigQuery.

Możliwym podejściem jest wyobrażenie sobie, że zadanie przestaje pobierać nowe dane, a następnie działać, dopóki nie przetworzy wszystkiego, ale nie wiem, czy/jak to jest możliwe do wdrożenia.

Answer 1

Wygląda na to, że ta funkcja została dodana w najnowszej wersji.

Wszystko, co musisz teraz zrobić, to wybrać drain option podczas anulowania zlecenia.

Dzięki.

Answer 2

Wierzę, że byłoby to trudne (jeśli nie niemożliwe) do zrobienia na własną rękę. My (zespół Google Cloud Dataflow) zdajemy sobie sprawę z tej potrzeby i pracujemy nad jej rozwiązaniem, wprowadzając nową funkcję w nadchodzących miesiącach.