Otrzymuj identyfikator pracownika w Celery

Question

Chcę używać Celery do uruchamiania zadań na serwerze GPU z czterema kartami Tesli. Prowadzę pracownika selekcji z grupą czterech pracowników, tak aby każda karta zawsze wykonywała jedno zadanie.

Mój problem polega na tym, jak instruować pracowników, aby każdy z nich zgodził się na jedno GPU. Obecnie mogę polegać na założeniu, że procesy robocze powinny mieć ciągłych identyfikatory procesu:

device_id = os.getpid() % self.ndevices 

Jednak to nie gwarantuje zawsze działa, to znaczy, gdy procesy robocze dostać ponownym uruchamianiu komputera w czasie. Idealnie chciałbym uzyskać identyfikator każdego pracownika bezpośrednio. Czy ktoś może mi powiedzieć, czy możliwe jest sprawdzenie pracownika w ramach zadania, czy może zaproponować inne rozwiązanie do dystrybucji zadań w układach GPU?

Answer 1

Jeśli używasz CELERYD_POOL = 'processes', basen pracownik jest obsługiwane przez billiard, co zdarza się, aby odsłonić jej indeks proces oparty o 0:

from billiard import current_process 
from celery import task 

@task 
def print_info(): 
    # This will print an int in [0..concurrency[ 
    print current_process().index 

index jest oparty o 0, a jeśli pracownik dzieje być ponownie uruchomiony, zachowa swój indeks.

nie mogłem znaleźć żadnej dokumentacji dotyczącej wartości index jednak:/