Jak najlepiej uruchomić asynchroniczne zlecenie zadania w widoku Django?

Question

Jedna z moich funkcji widoku jest bardzo długim zadaniem przetwarzania i wyraźnie musi być traktowana inaczej. Zamiast zmuszać użytkownika do dłuższego czekania, najlepiej byłoby, gdybym był w stanie zjeść lunch, który wysłałby pocztą e-mail wyniki, a nie czekając na zakończenie powiadomić użytkownika, że ​​jego wniosek jest przetwarzany i pozwolić im przeglądać. Wiem, że mogę używać os.fork, ale zastanawiałem się, czy istnieje "właściwa droga" pod względem Django. Być może mogę zwrócić odpowiedź HTTP i jakoś dalej z tą pracą?

Answer 1

Dlaczego nie po prostu uruchomić thread, aby wykonać przetwarzanie, a następnie przejść do wysłania odpowiedzi?

Answer 2

Istnieje kilka rozwiązań tego problemu, a najlepsze zależą od tego, jak ciężki będzie Twój nakład pracy.

Jeśli masz lekki nakład pracy, możesz skorzystać z metody zastosowanej przez django-mailer, która ma zdefiniować model "jobs", zapisać nowe zadania w bazie danych, a następnie cron uruchomić samodzielny skrypt co jakiś czas, aby przetworzyć zadania przechowywane w bazie danych (usuwanie ich po zakończeniu). Możesz użyć funkcji podobnej do django-chronograph, aby ułatwić sobie planowanie zadań.

Jeśli potrzebujesz pomocy w zrozumieniu, jak napisać skrypt, aby przetworzyć pracę, zobacz artykuł James Bennetta o artykule Standalone Django Scripts, aby uzyskać pomoc.

Jeśli masz bardzo duże obciążenie, co oznacza, że ​​potrzebujesz więcej niż jednego serwera do przetworzenia zadań, wówczas chcesz użyć prawdziwej kolejki zadań dystrybucji. Tutaj jest duża konkurencja, więc nie mogę szczegółowo opisać wszystkich opcji, ale dobrym rozwiązaniem dla aplikacji Django jest celery.

Answer 3

Zanim wybierzesz rozwiązanie, musisz określić sposób jego uruchomienia. Czy jest to ten sam proces dla każdego użytkownika, dane są takie same i mogą być regularnie planowane? lub czy każdy użytkownik żąda czegoś, a wyniki są nieco inne?

Jako przykład, jeśli dane będą takie same dla każdego użytkownika i można je uruchomić według harmonogramu, można użyć crona.

Patrz: http://www.b-list.org/weblog/2007/sep/22/standalone-django-scripts/ lub http://docs.djangoproject.com/en/dev/howto/custom-management-commands/

Jednakże jeżeli wnioski będą adhoc i trzeba coś skalowalne, które mogą obsługiwać duże obciążenie i jest asynchroniczne: czego właściwie szuka to system kolejce wiadomość. Widok spowoduje dodanie żądania do kolejki, która zostanie następnie podjęta.

Istnieje kilka opcji, aby zaimplementować to w Django Django: serwis kolejka jest czysto Django & Python i proste, choć ostatni popełnić było w kwietniu, a wydaje się, że projekt został porzucony. http://code.google.com/p/django-queue-service/

Druga opcja jeśli potrzebujesz czegoś, wagi, jest rozprowadzany i korzysta z wiadomości open source kolejce serwerów: seler jest to, czego potrzebujesz

http://ask.github.com/celery/introduction.html http://github.com/ask/celery/tree