Z przerwami nie można połączyć się z mysql na AWS RDS (błąd 2003)

Question

Mamy sporadyczny problem z połączeniem z limitem czasu serwera mysql. Błąd, który otrzymujemy, jest następujący.

(2003, 'Can\'t connect to MySQL server on \'<connection>\' ((2013, "Lost connection to MySQL server during query (error(104, \'Connection reset by peer\'))"))') Callstack: File "/usr/lib64/python2.7/site-packages/pymysql/connections.py", line 818, in _connect 2003, "Can't connect to MySQL server on %r (%s)" % (self.host, e)) File "/usr/lib64/python2.7/site-packages/pymysql/connections.py", line 626, in __init__ self._connect()

Niektórzy więcej informacji:

• Mamy lot serwerów EC2, które są stale uruchomionych zapytań do RDS zaplecza.
• Mamy średnio około 500 połączeń na sekundę do RDS
• Mamy około 0 - 4 czkawki za RDS dziennie
• czkawka nie odpowiadają naszym oknem konserwacji
• Kiedy trafiliśmy czkawki to możliwe, wpływa sporo połączeń ~ 50
• Kiedy dzieje się czkawką będzie zakłócać połączenia do wszystkich serwerów i porty

błąd sama wygląda być generowane z połączenia tCP zamykane na EC2. Nasz czas utrzymania TCP jest ustawiony na 7200 sekund i wtedy błąd jest odpalany.

Moje pytanie brzmi, co można zrobić, aby znaleźć przyczynę tych problemów? To świetnie, że nie zdarzają się często, ale nie jest idealnie, że w ogóle się zdarzają.

Każda rada byłaby doceniona dzięki!

Aktualizacja 10/29:

Byłem uruchomiony serwis sprawdzając, czy mam jakieś długie procesy uruchomione na serwerze SQL i wygląda na to, błędy te nie stają się tak daleko. Nowy proces nigdy nie jest tworzony dla tego połączenia! Wciąż dostaję czkawki, po prostu żadnych oznak połączeń.

Answer 1

Po przejściu z powrotem i powrotem ze wsparciem dla amazonów jest to aktualne rozwiązanie, do którego doszliśmy.

Amazon podniósł nasz backlog nasłuchujący gniazda, dostosowując wartość somaxconn na instancji RDS.

Wartość był na domyślnie 128 i został wpadł do 1024.

Gdy wartość została skorygowana już nie otrzymał Utracony błąd połączenia.