Linux宿主機(jī)下/容器下如何修改進(jìn)程打開的文件句柄數(shù)(open files)
Linux宿主機(jī)下/容器下修改進(jìn)程打開的文件句柄數(shù)
背景1：平臺調(diào)用算法出現(xiàn)異常，查看數(shù)據(jù)庫調(diào)用錯誤狀態(tài)碼是499
- 499：（客戶端主動關(guān)閉請求）；客戶端向服務(wù)端發(fā)起請求，服務(wù)器端處理的時間過長，超出了客戶端的超時時間，客戶端主動斷開連接。
- ## 這個報錯表明請求已經(jīng)打到了后端算法，只是后端算法請求太多導(dǎo)致的，遲遲沒有響應(yīng)客戶端并返回結(jié)果而導(dǎo)致斷開連接，此時可以增加服務(wù)后端節(jié)點數(shù)分?jǐn)倝毫蛘咴黾游募浔鷶?shù)（增加文件句柄數(shù)可以讓算法接收更多的請求）
背景2：錯誤日志出現(xiàn)“Too many open files“等文件打開太多等錯誤，出現(xiàn)文件描述符耗盡的問題
背景3：容器里面的服務(wù)啟動異常，排查發(fā)現(xiàn)容器里面文件句柄數(shù)太少，大概率是容器本身配置的句柄數(shù)過低
max-file表示系統(tǒng)級別的能夠打開的文件句柄的數(shù)量。是對整個系統(tǒng)的限制，并不是針對用戶的。ulimit -n控制進(jìn)程級別能夠打開的文件句柄的數(shù)量。提供對shell及其啟動的進(jìn)程的可用文件句柄的控制，這是進(jìn)程級別的
對于服務(wù)器，一般修改進(jìn)程級的最大打開文件句柄數(shù)即可（系統(tǒng)默認(rèn)1024，有點?。Ｒ话悴恍枰{(diào)整系統(tǒng)級的最大數(shù)。
如果出現(xiàn)了達(dá)到系統(tǒng)級別最大限制時，也需要同步調(diào)整系統(tǒng)級的最大數(shù)的。
一、查看系統(tǒng)最大句柄數(shù)
Linux 中，單個進(jìn)程能夠打開的最大文件句柄數(shù)量是可以配置的，系統(tǒng)默認(rèn)是 1024。
當(dāng)單個進(jìn)程打開的文件句柄數(shù)量超過了系統(tǒng)定義的值，就會出現(xiàn)“Too many files open”的錯誤提示。
用戶可以通過以下命令查看系統(tǒng)定義的最大值：
#查看文件句柄
[root@localhost ~]# ulimit -a
#查看當(dāng)前進(jìn)程打開了多少句柄數(shù):
[root@localhost ~]# lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more
131 24204
57 24244
57 24231 ......
?
其中第一列是打開的句柄數(shù)，第二列是進(jìn)程ID?？梢愿鶕?jù)ID號來查看進(jìn)程名:
[root@localhost ~]# ps aef|grep 24204
nginx 24204 24162 99 16:15 ? 00:24:25 /usr/local/nginx/sbin/nginx -s二、修改文件句柄(進(jìn)程級別)
#對于一般的應(yīng)用程序而言 1024 已經(jīng)完全夠用了，但是有些進(jìn)程處理大量請求，很有可能 1024 就不夠用了，則需要調(diào)整系統(tǒng)參數(shù),一般可以設(shè)置4096、65535或者102400，設(shè)置的太高會影響性能，并不是想設(shè)置多高就多高，畢竟打開的文件句柄數(shù)越多響應(yīng)時間肯定會越慢
#臨時生效 [root@localhost ~]# ulimit -n 4096 #永久生效法一：把這個臨時生效的命令放在.bashrc或者.bash_profile配置文件里就可以永久生效了 [root@localhost ~]# echo "ulimit -n 4096" >> ~/.bashrc #永久生效法二 [root@localhost ~]# vim /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 提示：* 表示所用的用戶，但有的系統(tǒng)不認(rèn), 需要具體的用戶名, 比如: root soft nofile 65535 root hard nofile 65535 重新登錄驗證，或reboot后驗證。
三、修改max user processes進(jìn)程數(shù)
#臨時生效 [root@localhost ~]# ulimit -u 65536 #永久生效 [root@localhost ~]# vim /etc/security/limits.conf * soft nproc 65536 * hard nproc 65536
四、查看系統(tǒng)最大打開文件描述符數(shù)量（系統(tǒng)級別）
[root@localhost ~]# cat /proc/sys/fs/file-max #查看系統(tǒng)最大打開文件描述符數(shù)量 180965 [root@localhost ~]# echo "1000000" > /proc/sys/fs/file-max #臨時設(shè)置該值 ? #永久性設(shè)置，需要在/etc/sysctl.conf中設(shè)置，并讓它生效： [root@localhost ~]# echo "fs.file-max = 1000000" >> /etc/sysctl.conf [root@localhost ~]# sysctl -p fs.file-max = 1000000
注意：
- 所有進(jìn)程打開的文件描述符數(shù)量不能超過/proc/sys/fs/file-max。
- 單個進(jìn)程打開的文件描述符數(shù)不能超過user limit中nofile的soft limit。
- nofile的soft limit不能超過其hard limit。
五、容器內(nèi)部修改文件句柄
##這是針對已經(jīng)run起來的容器修改文件句柄 [root@localhost ~]# ps -ef | grep dockerd root 57213 1 0 Jan13 ? 02:49:32 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --icc=false --default-ulimit nproc=1024:2408 --default-ulimit nofile=100:200 root 126923 122986 0 10:44 pts/2 00:00:00 grep --color=auto dockerd [root@localhost ~]# cat /usr/lib/systemd/system/docker.service #把宿主機(jī)本身容器配置文件這一條修改后重啟就會生效 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --icc=false --default-ulimit nproc=1024:2408 --default-ulimit nofile=65535:131070 [root@localhost ~]# systemctl restart docker && systemctl daemon-reload
--default-ulimit nofile=100:200，也就是文件句柄容器內(nèi)100，宿主機(jī)200
#沒有run運行起來的容器，可以直接在容器啟動命令添加限制參數(shù)： --ulimit nofile=65535:65535，容器啟動完成后，在容器內(nèi)查看java進(jìn)程句柄數(shù)限制(已經(jīng)成功修改為65535) [root@localhost ~]# docker run --ulimit nofile=65535:65535 ...
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
在遇到apache無法啟動時，可以參照如下可能的原因進(jìn)行分析與解決，有類似情況的朋友可以參考下哈2013-05-05
這篇文章主要介紹了linux殺進(jìn)程的多種方法,需要的朋友可以參考下2014-03-03
詳解firewall的規(guī)則設(shè)置與命令(白名單設(shè)置)
這篇文章主要介紹了詳解firewall的規(guī)則設(shè)置與命令(白名單設(shè)置)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
這篇文章主要為大家詳細(xì)介紹了一個關(guān)于進(jìn)程間通信的Linux小程序，主要利用共享內(nèi)存實現(xiàn)進(jìn)程間通信，使用管道實現(xiàn)進(jìn)程間競爭關(guān)系，感興趣的朋友可以參考一下2016-05-05
詳細(xì)介紹通過配置Apache實現(xiàn)404頁面替換
Gentoo 下安裝與配置Nginx+ MySQL + PHP (fastcgi) 環(huán)境步驟分享
linux環(huán)境openssl、openssh升級流程
Linux服務(wù)器NFS文件共享的實現(xiàn)方式