Usuwanie wszystkich zadań kolejkowania ThreadPoolExecutor

Question

Mam to dość proste pytanie o ThreadPoolExecutor. Mam następującą sytuację: muszę spożywać obiekty z kolejki, tworzyć odpowiednie zadania dla nich i przesyłać je do ThreadPoolExecutor. To całkiem proste. Ale w scenariuszu wyłączania wielu pracowników może zostać umieszczonych w kolejce do wykonania. Ponieważ jedno z tych zadań może być uruchomione przez godzinę, a ja chcę relatywnie szybkiego, pełnego wdzięku zamknięcia aplikacji, chcę odrzucić wszystkie zadania w kolejce od ThreadPoolExecutor, podczas gdy zadania przetwarzania powinny być zakończone normalnie.

Dokumentacja ThreadPoolExecutor ma metodę remove(), ale pozwala tylko na usunięcie określonych zadań. purge() działa tylko w przypadku już anulowanych zadań na przyszłość. Moim pomysłem było oczyszczenie kolejki z wszystkimi kolejnymi zadaniami. ThreadPoolExecutor zapewnia dostęp do tej kolejki wewnętrznej ale dokumentacja stwierdza:

Method getQueue() pozwala na dostęp do kolejki pracować dla celów monitorowania i debugowanie. Zastosowanie tej metody zniechęca do jakichkolwiek innych celów.

Więc chwytanie tej kolejki i czyszczenie jej nie jest opcją. Również ten fragment dokumentacji mówi:

metod

Dwa dostarczone, remove (java.lang.Runnable) i czyszczenie() są dostępne, aby pomóc w przechowywaniu rekultywacji gdy duża liczba kolejce zadań stać odwołany .

Jak? Oczywiście, mogę zachować listę wszystkich zadań, które przesłałem do executora, i w przypadku zamknięcia, iteruję po wszystkich wpisach i usuwam je z ThreadPoolExecutor za pomocą metody remove() ... ale ... chodź, to jest marnowanie pamięci i kłopot z utrzymaniem tej listy. (Usuwanie wcześniej wykonanych zadań)

Doceniam wszelkie wskazówki i rozwiązania!

Answer 1

Czy rozważałeś zawijanie ExecutorService? Utwórz nowe, które deleguje wszystkie połączenia do innego Executora, ale zachowuje Futures na liście własnych. CleanShutdownExecutorService może wówczas mieć metodę cancelRemainingTasks(), która wywołuje shutdown(), a następnie wywołuje cancel (false) we wszystkich kontraktach Futures na swojej liście.

Answer 2

Jak ExecutorService.shutdown() nie robi wystarczająco dużo i ExecutorService.shutdownNow() robi zbyt dużo Chyba trzeba napisać coś w środku: zapamiętaj wszystkich złożonych zadań i usunąć je ręcznie po (lub przed) wywołanie shutdown().

Answer 3

Odpowiedź Bombe jest dokładnie taka, jak chcesz. shutdownNow() zatrzymuje wszystko przy użyciu podejścia nuke i utorować. To najlepsza rzecz, jaką możesz zrobić, jeśli nie masz podklasy implementacji ThreadPoolExecutor, której używasz.

Answer 4

Szalony i nieczysty rozwiązanie, które może działać (nie prawdziwe przemyślane lub testowane) byłoby zastąpić interrupt() swojego WorkerTasks który tylko w przypadku niektórych globalna wartość jest ustawiona odmówić wyłączenia kiedy interrupt() nazywa się na nich przez shutdownNow ().

To powinno pozwolić Ci użyć numeru shutdownNow()?

Answer 5

Poinformuj pulę wątków o wyłączeniu, getQueue, dla każdego wyniku w poszczególnych Runnamach, usuń każdy Runnable za pomocą metody remove. W zależności od typu kolejki, możliwe jest wczesne zatrzymanie usuwania na podstawie wartości zwracanych.

Zasadniczo polega to na przechwytywaniu kolejki i czyszczeniu jej, a jedynie czyszczeniu za pomocą działających metod. Zamiast ręcznego zapamiętywania wszystkich zgłoszeń, wykorzystujesz fakt, że pula wątków musi już pamiętać wszystkie przesyłki. Jednak prawdopodobnie będziesz musiał wykonać obronną kopię kolejki, ponieważ uważam, że jest to podgląd na żywo, dlatego usunięcie prawdopodobnie spowodowałoby wyjątek modyfikacji współbieżnej, gdybyś wykonywał/przeglądał podgląd na żywo.

Answer 6

Kiedyś pracowałem nad aplikacją z długimi wątkami. Robimy to podczas wyłączania,

BlockingQueue<Runnable> queue = threadPool.getQueue(); 
List<Runnable> list = new ArrayList<Runnable>(); 
int tasks = queue.drainTo(list); 

Lista jest zapisywana do pliku. Podczas uruchamiania lista jest dodawana z powrotem do puli, więc nie tracimy żadnych zadań.

Answer 7

Czy po wyłączeniu nie działa awaitTermination(long timeout, TimeUnit unit)?

executor.shutdown(); executor.awaitTermination (60, TimeUnit.SECONDS)

Answer 8

Można spróbować allowCoreThreadTimeOut(true);

Answer 9

To stara sprawa, ale w przypadku tego pomaga kogoś innego: można ustawić wartość logiczną lotny podczas wywołania shutdown() i każde zakończone zadanie zostanie zakończone, jeśli ta wartość logiczna zostanie ustawiona przed rozpoczęciem. Umożliwi to zadanie, które rzeczywiście się zakończyło, ale uniemożliwi kolejkom wykonywanie rzeczywistych zadań.