Przepływ powietrza: zmiana czasu crontab dla DAG w przepływie powietrza

Question

Mam DAG, która działała codziennie o 3:00, działała dobrze przez ostatnie kilka tygodni.

Zaktualizowałem datę uruchomienia o 7:00, ale najwyraźniej przez ostatnie 2 dni nie działało. Widzę zadania przez te dwa dni ze statusem "działa" (na zielono), ale żadne polecenie nie jest uruchamiane.

Czy trzeba zrobić coś więcej, aby zmienić czas deaktywacji DAG?

Wiem, że w przeszłości jednym ze sposobów rozwiązania tego problemu było wyczyszczenie w meta-bazie danych zadań dla tej DAG i aktualizacja daty początkowej, ale wolałbym tego uniknąć.

Ktoś ma sugestię?

Answer 1

Dawid

zaplanować dag Airflow po prostu wygląda na ostatni execution date i zsumować schedule interval. Jeśli ten czas upłynął, uruchomi dag. Nie można łatwo zaktualizować daty początkowej. Prostym sposobem na to jest edycja swoich start date i schedule interval, zmiana nazwy dag (np. Xxxx_v2.py) i ponowne wdrożenie.

Answer 2

Alternatywnym rozwiązaniem do zmiany nazwy DAG jest edycja execution_date wszystkich wcześniejszych instancji zadań i przebiegów DAG w DAG w bazie danych. Tabele do zmiany to odpowiednio: task_instance i dag_run.

Jedną z wad tego podejścia jest utrata możliwości przeglądania logów ukończonych zadań za pośrednictwem serwera WWW.