Najlepsza praktyka używania HttpClient w środowisku wielowątkowym

Question

Od pewnego czasu używam HttpClient w środowisku wielowątkowym. Dla każdego wątku, gdy zainicjuje połączenie, utworzy zupełnie nową instancję HttpClient.

Niedawno odkryłem, że za pomocą tego podejścia może to spowodować, że użytkownik będzie miał otwartych zbyt wiele portów, a większość połączeń będzie w stanie TIME_WAIT.

http://www.opensubscriber.com/message/commons-httpclient-dev@jakarta.apache.org/86045.html

Stąd, zamiast każda nić sposób:

HttpClient c = new HttpClient(); 
try { 
    c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
} 

Planujemy:

[Metoda A]

// global_c is initialized once through 
// HttpClient global_c = new HttpClient(new MultiThreadedHttpConnectionManager()); 

try { 
    global_c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
} 

W normalnej sytuacji, global_c będzie dostępny jednocześnie przez 50 wątków. Zastanawiam się, czy spowoduje to problemy z wydajnością? Czy MultiThreadedHttpConnectionManager używa mechanizmu blokującego, aby wdrożyć politykę bezpieczeństwa wątków?

Jeśli 10 wątków korzysta z global_c, czy pozostałe 40 wątków zostanie zablokowanych?

A może byłoby lepiej, gdyby w każdym wątku utworzyć wystąpienie HttpClient, ale zwolnić menedżera połączeń jawnie?

[Metoda B]

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManager(); 
HttpClient c = new HttpClient(connman); 
try { 
     c.executeMethod(method); 
} 
catch(...) { 
} 
finally { 
    method.releaseConnection(); 
    connman.shutdown(); 
} 

Will connman.shutdown() cierpią problemy z wydajnością?

Czy mogę wiedzieć, która metoda (A lub B) jest lepsza, dla aplikacji używającej wątków 50 ++?

Answer 1

Metoda A jest zalecana przez społeczność programistów httpclient.

Aby uzyskać więcej informacji, zapoznaj się z http://www.mail-archive.com/httpclient-users@hc.apache.org/msg02455.html.

Answer 2

Moje czytanie docs jest to, że httpconnection sama nie jest traktowany jako bezpieczny wątku, a więc MultiThreadedHttpConnectionManager zapewnia wielokrotnego użytku pula HttpConnections, masz jeden MultiThreadedHttpConnectionManager współdzielony przez wszystkie gwinty i zainicjowany dokładnie raz. Więc trzeba kilka drobnych udoskonaleń do opcji A.

MultiThreadedHttpConnectionManager connman = new MultiThreadedHttpConnectionManag 

Następnie każdy wątek powinien być przy użyciu sekwencji dla każdego żądania, coraz conection z basenem i oddanie go z powrotem po zakończeniu jego pracy - za pomocą wreszcie blok może być dobry. Powinieneś również zakodować, że pula nie ma dostępnych połączeń i przetworzyć wyjątek limitu czasu.

HttpConnection connection = null 
try { 
    connection = connman.getConnectionWithTimeout(
         HostConfiguration hostConfiguration, long timeout) 
    // work 
} catch (/*etc*/) {/*etc*/} finally{ 
    if (connection != null) 
     connman.releaseConnection(connection); 
} 

Jak używasz pulę połączeń nie będzie faktycznie zamknięcie połączenia i tak nie powinno trafić problem CZAS_OCZEKIWANIA. To podejście zakłada, że ​​każdy wątek nie będzie długo zawieszony na połączeniu. Zauważ, że conman sam jest otwarty.

Answer 3

Myślę, że będziesz chciał użyć ThreadSafeClientConnManager.

Można zobaczyć, jak to działa tutaj: http://foo.jasonhudgins.com/2009/08/http-connection-reuse-in-android.html

Lub w AndroidHttpClient który wykorzystuje go wewnętrznie.

Answer 4

Zdecydowanie Metoda A, ponieważ jest połączona i bezpieczna dla wątków.

Jeśli korzystasz z httpclient 4.x, menedżer połączeń nazywa się ThreadSafeClientConnManager. Więcej szczegółowych informacji można znaleźć w link (przewiń w dół do "Menedżer połączeń pulpitowych"). Na przykład:

HttpParams params = new BasicHttpParams(); 
    SchemeRegistry registry = new SchemeRegistry(); 
    registry.register(new Scheme("http", PlainSocketFactory.getSocketFactory(), 80)); 
    ClientConnectionManager cm = new ThreadSafeClientConnManager(params, registry); 
    HttpClient client = new DefaultHttpClient(cm, params); 

Answer 5

Z HttpClient 4.5 można to zrobić:

CloseableHttpClient httpClient = HttpClients.custom().setConnectionManager(new PoolingHttpClientConnectionManager()).build(); 

pamiętać, że ten jeden implementuje zamykany (do wyłączania z menedżer połączeń).