快捷導(dǎo)航

詳解SpringCloudGateway內(nèi)存泄漏問題

更新時間：2020年07月16日 15:30:06 作者：如果悲傷有顏色，那么一定是黃昏

這篇文章主要介紹了詳解SpringCloudGateway內(nèi)存泄漏問題，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

SpringCloudGateway內(nèi)存泄漏問題

項目完善差不多，在進入壓力測試階段期間，發(fā)現(xiàn)了gateway有內(nèi)存泄漏問題，問題發(fā)現(xiàn)的起因是，當(dāng)時啟動一臺gateway，一臺對應(yīng)的下游應(yīng)用服務(wù)，在壓力測試期間，發(fā)現(xiàn)特別不穩(wěn)定，并發(fā)量時高時低，而且會有施壓機卡住的現(xiàn)象，然后找到容器對應(yīng)的宿主機，并使用container stats命令觀察內(nèi)存，經(jīng)過觀察發(fā)現(xiàn)，壓力測試時內(nèi)存會暴漲，并由于超過限制最大內(nèi)存導(dǎo)致容器掛掉（這里由于用的swarm所以會自動選擇節(jié)點重啟）最終發(fā)現(xiàn)由于之前測試服務(wù)器配置低，所以限制了堆大小為1g，容器cpu 1，容器內(nèi)存限制為了1g，經(jīng)過調(diào)整后將內(nèi)存改為4g且不限制容器資源的情況下，并發(fā)穩(wěn)定，單機qps也不錯，但是多次壓力測試后依然會有卡住的問題，觀察了日志之后確定為內(nèi)存泄漏

io.netty.util.internal.OutOfDirectMemoryError:
failed to allocate 16777216 byte(s) of direct memory
(used: 4110417927, max: 4116185088)

- LEAK: ByteBuf.release() was not called before it's garbage-collected.

發(fā)現(xiàn)問題之后，我進入容器內(nèi)dump了內(nèi)存快照，并下載到本機由jvisualvm分析，分析過程中并沒有發(fā)現(xiàn)異常情況，由于gateway底層是netty，所以懷疑是堆外內(nèi)存出了問題，這時候我從快照中查詢bytebuff，依然很小，后來直接使用arthas去線上分析，分析發(fā)現(xiàn)堆內(nèi)存正常，gc也沒有問題

最后為了快速測試出異常，我調(diào)小了堆外內(nèi)存大小,并配合nmt調(diào)查

-XX:NativeMemoryTracking=detail -XX:MaxDirectMemorySize=100M

在線上使用pmap去查看內(nèi)存，發(fā)現(xiàn)了很多的anon，并且每次并發(fā)都會增長

轉(zhuǎn)移到本地進行測試，發(fā)現(xiàn)內(nèi)存遠超出分配的堆大小，最終確定為堆外內(nèi)存出了問題

既然是堆外內(nèi)存出的問題，我們就只關(guān)心是否申請了buff沒有釋放，通過對代碼的檢查發(fā)現(xiàn)，只有兩個地方使用到了相關(guān)的內(nèi)容

DataBuffer buffer = exchange.getResponse().bufferFactory().wrap(bytes);
    return serverHttpResponse.writeWith(Flux.just(buffer));

對上面的代碼進行大量壓測后發(fā)現(xiàn)并無問題，內(nèi)存沒有異常增長不回收

ServerHttpRequest httpRequest = exchange.getRequest().mutate().headers(httpHeaders -> {
              httpHeaders.add(GatewayConstants.LOGIN_USER_KEY, JSON.toJSONString(s));
            }).build();
            return chain.filter(exchange.mutate().request(httpRequest).build());

還有一處就是修改請求頭這部分代碼，當(dāng)注釋掉這部分時，內(nèi)存穩(wěn)定沒有異常增長，當(dāng)放開時，3000并發(fā)幾乎增加800M內(nèi)存，幾次就懟到了5g+，由于gateway內(nèi)置了一個請求頭工廠(AddRequestHeaderGatewayFilterFactory)，我去查看對應(yīng)的源代碼，是怎么實現(xiàn)的