Retry Seler zadania z wykładniczy wycofać

Question

dla zadania jak ten:

from celery.decorators import task 

@task() 
def add(x, y): 
    if not x or not y: 
     raise Exception("test error") 
    return self.wait_until_server_responds(

jeśli zgłasza wyjątek i chcę ponowić go z boku demona, w jaki sposób można zastosować wykładniczy wycofać algorytmu, czyli po 2^2, 2^3,2^4 itp. Sekund?

Czy powtórzenie jest utrzymywane od strony serwera, tak, że jeśli pracownik zostanie zabity, następny pracownik, który się spawnuje, podejmie zadanie ponownego wykonania?

Answer 1

Atrybut task.request.retries zawiera liczbę prób dotychczas więc można to wykorzystać do realizacji wykładniczy backoff:

from celery.task import task 

@task(bind=True, max_retries=3) 
def update_status(self, auth, status): 
    try: 
     Twitter(auth).update_status(status) 
    except Twitter.WhaleFail as exc: 
     self.retry(exc=exc, countdown=2 ** self.request.retries) 

Aby zapobiec Thundering Herd Problem, można rozważyć dodanie losowego jitter aby Twój wykładniczy ograniczania:

import random 
self.retry(exc=exc, countdown=int(random.uniform(2, 4) ** self.request.retries)) 

Answer 2

Jak selera 4.2 (jeszcze nie wydany) będziesz mógł skonfigurować swoje zadania użyć wykładniczy backoff automatycznie: http://docs.celeryproject.org/en/master/userguide/tasks.html#automatic-retry-for-known-exceptions

@app.task(autoretry_for=(Exception,), retry_backoff=2) 
def add(x, y): 
    ... 

Nie dajcie się zwieść "Nowością w wersji 4.1". ogłoszenie w dokumentach, jeszcze nie zostało wydane, zobacz merge request