一、SpringBoot內(nèi)嵌Tomcat默認(rèn)配置與優(yōu)化

在做一個(gè)關(guān)于秒殺系統(tǒng)的模塊，進(jìn)行Jmeter壓測(cè)性能的時(shí)候發(fā)現(xiàn)tomcat并發(fā)上不去，深入原因找到可供優(yōu)化的地方，力求最大性能。

發(fā)現(xiàn)并發(fā)容器問(wèn)題

對(duì)單接口進(jìn)行6000線程壓測(cè)，每個(gè)線程請(qǐng)求5次，線程在5秒內(nèi)創(chuàng)建完畢，當(dāng)進(jìn)行一半的時(shí)候，已經(jīng)出現(xiàn)了請(qǐng)求響應(yīng)時(shí)間過(guò)大及其錯(cuò)誤率達(dá)到了43%。這個(gè)并發(fā)容量對(duì)于配置比較好點(diǎn)的服務(wù)器相對(duì)來(lái)說(shuō)有點(diǎn)弱。

深入SpringBoot底層了解原因

在SpringBoot官方文檔中提到了關(guān)于元數(shù)據(jù)的配置

可以看到，關(guān)于我們最常用的設(shè)置項(xiàng)目的端口的默認(rèn)配置就在其中。

默認(rèn)內(nèi)嵌Tomcat配置

1、server.tomcat.accept-count：等待隊(duì)列長(zhǎng)度，當(dāng)可分配的線程數(shù)全部用完之后，后續(xù)的請(qǐng)求將進(jìn)入等待隊(duì)列等待，等待隊(duì)列滿后則拒絕處理，默認(rèn)100。

2、server.tomcat.max-connections：最大可被連接數(shù)，默認(rèn)10000

3、server.tomcat.max-threads：最大工作線程數(shù)，默認(rèn)200,

4、server.tomcat.min-spare-threads：最小工作線程數(shù)，初始化分配線程數(shù)，默認(rèn)10

默認(rèn)配置下，連接超過(guò)10000后會(huì)出現(xiàn)拒絕連接情況

默認(rèn)配置下，觸發(fā)的請(qǐng)求超過(guò)200+100后拒絕處理(最大工作線程數(shù)+等待隊(duì)列長(zhǎng)度)

這些元數(shù)據(jù)Spring當(dāng)然提供了外部配置功能

#更改內(nèi)嵌tomcat參數(shù)
server.port=8080
## 等待隊(duì)列長(zhǎng)度，默認(rèn)100。
server.tomcat.accept-count=1000
## 最大工作線程數(shù)，默認(rèn)200。（4核8g內(nèi)存，線程數(shù)經(jīng)驗(yàn)值800，操作系統(tǒng)做線程之間的切換調(diào)度是有系統(tǒng)開銷的，所以不是越多越好。）
server.tomcat.max-threads=800
## 最小工作空閑線程數(shù)，默認(rèn)10。（適當(dāng)增大一些，以便應(yīng)對(duì)突然增長(zhǎng)的訪問(wèn)量）
server.tomcat.min-spare-threads=100

SpringBoot內(nèi)置Tomcat，在默認(rèn)設(shè)置中，Tomcat的最大線程數(shù)是200，最大連接數(shù)是10000。支持的并發(fā)量是指連接數(shù)，200個(gè)線程如何處理10000條連接的？

目前Tomcat有三種處理連接的模式，一種是BIO，一個(gè)線程只處理一個(gè)連接，另一種就是NIO，一個(gè)線程處理多個(gè)連接。由于HTTP請(qǐng)求不會(huì)太耗時(shí)，而且多個(gè)連接一般不會(huì)同時(shí)來(lái)消息，所以一個(gè)線程處理多個(gè)連接沒有太大問(wèn)題。

還有一種是apr模式，后續(xù)會(huì)詳細(xì)介紹一下tomcat的這三種模式，這里不做深入討論。

Tomcat啟動(dòng)的時(shí)候，可以通過(guò)log看到Connector使用的是哪一種運(yùn)行模式：

Starting ProtocolHandler ["http-bio-8080"]
Starting ProtocolHandler ["http-nio-8080"]
Starting ProtocolHandler ["http-apr-8080"]

默認(rèn)值可以在spring-boot-autoconfigure-版本號(hào).jar（比如：spring-boot-autoconfigure-2.1.0.RELEASE） 包中看到，解壓反編譯/web/ServerProperties.class文件就可以看到默認(rèn)配置。

定制化內(nèi)嵌Tomcat開發(fā)

關(guān)于KeepAlive

在使用Jmeter的Http請(qǐng)求中默認(rèn)是開啟KeepAlive的

Http的KeepAlive請(qǐng)求為當(dāng)我們的客戶端向我們的服務(wù)器發(fā)送Http請(qǐng)求的時(shí)候，若帶上了KeepAlive的請(qǐng)求頭，則表明我們的Http客戶端希望跟服務(wù)端之間建立一個(gè)KeepAlive的連接，這個(gè)連接對(duì)應(yīng)的用處就是說(shuō)，向我們的服務(wù)端發(fā)送完對(duì)應(yīng)的響應(yīng)之后，我們的服務(wù)端不要立馬斷開連接，而是等待嘗試復(fù)用連接。

此解決方案是用來(lái)解決Http的一個(gè)響應(yīng)，無(wú)狀態(tài)，每次都要斷開連接，新建連接所帶來(lái)的一個(gè)耗時(shí)問(wèn)題。

但如果說(shuō)我們每個(gè)網(wǎng)頁(yè)請(qǐng)求打開之后都跟服務(wù)端保持一個(gè)長(zhǎng)連接，那我們服務(wù)端的連接數(shù)很快就會(huì)被用完了，因此再最早的Http1.0的時(shí)候是沒有設(shè)計(jì)KeepAlive的請(qǐng)求的，但是現(xiàn)在的Http1.1加上KeepAlive請(qǐng)求，目的就是越來(lái)越多的移動(dòng)端的設(shè)備，甚至于一些很復(fù)雜的網(wǎng)頁(yè)交互，需要在用戶瀏覽的過(guò)程當(dāng)中，頻繁的向服務(wù)端發(fā)送請(qǐng)求，因此，建立一個(gè)KeepAlive連接，并非為了壓測(cè)的目的，而是真正的在應(yīng)用場(chǎng)景上是有一些性能的好處的，無(wú)論是客戶端還是服務(wù)端，在做一些網(wǎng)絡(luò)通信的交互上面，無(wú)需每次都新建連接，斷開連接，耗費(fèi)Tcp/Ip建連的時(shí)間，而僅僅只需要發(fā)送數(shù)據(jù)即可。

但是這樣的設(shè)計(jì)也會(huì)帶來(lái)一些問(wèn)題，如果說(shuō)我們的服務(wù)端對(duì)KeepAlive的操作沒有做任何限制 1.連接不做任何操作，不做任何響應(yīng)，那這條連接對(duì)服務(wù)端來(lái)說(shuō)就是一條費(fèi)連接 2.有一些攻擊者惡意利用KeepAlive連接向我們的服務(wù)端發(fā)送DDOS的攻擊，那服務(wù)端對(duì)應(yīng)的連接只會(huì)成為攻擊者攻擊的后門，因此，為了安全，我們需要定制化Tomcat開發(fā)

配置

1、KeepAliveTimeOut：多少毫秒后客戶端不響應(yīng)則斷開KeepAlive

2、maxKeepAliveRequests：多少次請(qǐng)求后KeepAlive斷開失效

在SpringBoot官方文檔中提到了對(duì)內(nèi)嵌容器的配置

//當(dāng)spring容器內(nèi)沒有TomcatEmbeddedServletContainerFactory這個(gè)bean時(shí)，會(huì)把bean加載進(jìn)spring容器
@Configuration
public class WebServerConfiguration implements WebServerFactoryCustomizer<ConfigurableWebServerFactory> {
@Override
public void customize(ConfigurableWebServerFactory factory) {
　　//使用對(duì)應(yīng)工廠類提供給我們的接口定制化我們的tomcat connector
　　((TomcatServletWebServerFactory)factory).addConnectorCustomizers(new TomcatConnectorCustomizer() {
　　　　@Override
　　　　public void customize(Connector connector) {
　　　　　　Http11NioProtocol protocol= (Http11NioProtocol) connector.getProtocolHandler();
　　　　　　//定制KeepAliveTimeout，設(shè)置30秒內(nèi)沒有請(qǐng)求則服務(wù)器自動(dòng)斷開keepalive連接
　　　　　　protocol.setKeepAliveTimeout(30000);
　　　　　　//當(dāng)客戶端發(fā)送超過(guò)10000個(gè)請(qǐng)求則自動(dòng)斷開keepalive連接
　　　　　　protocol.setMaxKeepAliveRequests(10000);
　　　　}
　　});
}
}

容器問(wèn)題優(yōu)化

響應(yīng)時(shí)間變長(zhǎng)，TPS上不去

單Web容器上限

線程數(shù)量：

4核CPU 8G內(nèi)存單進(jìn)程調(diào)用線程數(shù)800-1000,1000以上后即花費(fèi)巨大的時(shí)間在CPU調(diào)度上

等待隊(duì)列長(zhǎng)度：

隊(duì)列做緩沖池用，但也不能無(wú)限長(zhǎng)，消耗內(nèi)存，出隊(duì)入隊(duì)也耗CPU

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論