Dlaczego mój serwer Hello World go zostaje zmiażdżony przez ApacheBench?

Question

package main 

import (
    "io" 
    "net/http" 
) 

func hello(w http.ResponseWriter, r *http.Request) { 
    io.WriteString(w, "Hello world!\n") 
} 

func main() { 
    http.HandleFunc("/", hello) 
    http.ListenAndServe(":8000", nil) 
} 

Mam kilka niewiarygodnie podstawowych serwerów HTTP i wszystkie one wykazują ten problem.

$ ab -c 1000 -n 10000 http://127.0.0.1:8000/ 
This is ApacheBench, Version 2.3 <$Revision: 1604373 $> 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 

Benchmarking 127.0.0.1 (be patient) 
Completed 1000 requests 
Completed 2000 requests 
Completed 3000 requests 
Completed 4000 requests 
Completed 5000 requests 
apr_socket_recv: Connection refused (61) 
Total of 5112 requests completed 

Przy mniejszej wartości współbieżności rzeczy wciąż się przewracają. Dla mnie sprawa wydaje się, aby pokazać się wokół 5k-6k znakiem zwykle:

$ ab -c 10 -n 10000 http://127.0.0.1:8000/ 
This is ApacheBench, Version 2.3 <$Revision: 1604373 $> 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 

Benchmarking 127.0.0.1 (be patient) 
Completed 1000 requests 
Completed 2000 requests 
Completed 3000 requests 
Completed 4000 requests 
Completed 5000 requests 
Completed 6000 requests 
apr_socket_recv: Operation timed out (60) 
Total of 6277 requests completed 

I rzeczywiście, można upuścić współbieżność całkowicie i problem nadal (czasami) dzieje:

$ ab -c 1 -n 10000 http://127.0.0.1:8000/ 
This is ApacheBench, Version 2.3 <$Revision: 1604373 $> 
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 
Licensed to The Apache Software Foundation, http://www.apache.org/ 

Benchmarking 127.0.0.1 (be patient) 
Completed 1000 requests 
Completed 2000 requests 
Completed 3000 requests 
Completed 4000 requests 
Completed 5000 requests 
Completed 6000 requests 
apr_socket_recv: Operation timed out (60) 
Total of 6278 requests completed 

I zastanawiam się, czy gdzieś trafiam w jakiś system operacyjny? Jak mam powiedzieć? A jak złagodzę?

Answer 1

Krótko mówiąc, brakuje portów.

Domyślny port efemerycznego portu na osx to 49152-65535, który ma tylko 16 383 porty. Ponieważ każde żądanie ab jest (bez zachowania ciągłości w pierwszych przykładach), każde nowe żądanie przyjmuje inny port.

Podczas korzystania z każdego portu jest on umieszczany w kolejce, w której oczekuje na TCP "Maksymalny czas życia segmentu", który jest skonfigurowany na 15 sekund na osx. Więc jeśli użyjesz więcej niż 16 383 portów w 15 sekund, będziesz skutecznie dławiony przez system operacyjny w kolejnych połączeniach. W zależności od tego, który proces zostanie wcześniej zakończony, uzyskasz połączenie z serwerem lub zawiedzie się od ab.

można złagodzić to za pomocą generatora http/1.1 zdolny obciążenia jak wrk lub używając podtrzymywanie (-k) opcję ab, tak, że połączenia są ponownie wykorzystywane na podstawie ustawień współbieżności narzędzia.

Teraz kod serwera, który testujesz, robi tak mało, że generator obciążeń jest opodatkowany tak samo, jak sam serwer, a lokalny os i stos sieciowy prawdopodobnie wnoszą duży wkład. Jeśli chcesz przetestować serwer http, lepiej wykonać jakąś sensowną pracę z wielu klientów nie działających na tym samym komputerze.