MySQL服務器發現大量TIME_WAIT解決辦法
有同事就反映公司好幾個網站都打不開，登陸MySQL數據庫。服務器(Windows)，發現很卡,于是重啟了下服務器，進入系統后，沒過一會問題依舊,查看了下系統進程，發現MySQL占用率達到99%，可以肯定的是MySQL連接出現問題:
- netstat -an
- 192.168.12.13:3306 192.168.12.12:30443 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30444 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30445 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30446 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30447 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30448 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30449 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30450 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30451 TIME_WAIT
- 192.168.12.13:3306 192.168.12.12:30452 TIME_WAIT
- ... ...
根據TCP協議定義的3次握手斷開連接規定,發起socket主動關閉的一方 socket將進入TIME_WAIT狀態,TIME_WAIT狀態將持續2個MSL(Max Segment Lifetime),在Windows下默認為4分鐘,即240秒,TIME_WAIT狀態下的socket不能被回收使用. 具體現象是對于一個處理大量短連接的服務器,如果是由服務器主動關閉客戶端的連接,將導致服務器端存在大量的處于TIME_WAIT狀態的socket, 甚至比處于Established狀態下的socket多的多,嚴重影響服務器的處理能力,甚至耗盡可用的socket,停止服務. TIME_WAIT是TCP協議用以保證被重新分配的socket不會受到之前殘留的延遲重發報文影響的機制,是必要的邏輯保證.
在HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\Tcpip\Parameters,添加名為TcpTimedWaitDelay的
DWORD鍵,設置為60,以縮短TIME_WAIT的等待時間
登陸到Web服務器(Linux)：
- netstat -ae |grep mysql
- tcp 0 0 aaaa:53045 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53044 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53051 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53050 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53049 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53048 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53055 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53054 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53053 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53052 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53059 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53058 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53057 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53056 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53063 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53062 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53061 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53060 192.168.12.3:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53067 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53066 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53065 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53064 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa53071 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53070 192.168.12.13:mysql TIME_WAIT root 0
- tcp 0 0 aaaa:53069 192.168.12.13:mysql TIME_WAIT root 0
發現系統存在大量TIME_WAIT狀態的連接，通過調整內核參數解決，
- vi /etc/sysctl.conf
編輯文件，加入以下內容：
- net.ipv4.tcp_syncookies = 1
- net.ipv4.tcp_tw_reuse = 1
- net.ipv4.tcp_tw_recycle = 1
- net.ipv4.tcp_fin_timeout = 30
然后執行 /sbin/sysctl -p 讓參數生效。
net.ipv4.tcp_syncookies = 1 表示開啟SYN Cookies。當出現SYN等待隊列溢出時，啟用cookies來處理，可防范少量SYN攻擊，默認為0，表示關閉;
net.ipv4.tcp_tw_reuse = 1 表示開啟重用。允許將TIME-WAIT sockets重新用于新的TCP連接，默認為0，表示關閉;
net.ipv4.tcp_tw_recycle = 1 表示開啟TCP連接中TIME-WAIT sockets的快速回收，默認為0，表示關閉。
net.ipv4.tcp_fin_timeout 修改系統默認的 TIMEOUT 時間
修改之后，再用
- netstat -ae|grep mysql
- tcp 0 0 aaaa:50408 192.168.12.13:mysql ESTABLISHED nobody 3224651
- tcp 0 0 aaaa:50417 192.168.12.13:mysql ESTABLISHED nobody 3224673
- tcp 0 0 aaaa:50419 192.168.12.13:mysql ESTABLISHED nobody 3224675
發現大量的TIME_WAIT 已不存在，mysql進程的占用率很快就降下來的，各網站訪問正常!!
以上只是暫時的解決方法，最后仔細巡查發現是前天新上線的一個系統，程序代碼中沒有使用mysql.colse()，才導致大量的mysql TIME_WAIT。
