Nginx日志的自動封異常ip和解封腳本方式
更新時間：2025年06月17日 09:15:24 作者：ReadMeFrist
這篇文章主要介紹了Nginx日志的自動封異常ip和解封腳本方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
Nginx日志的自動封異常ip和解封腳本
設計思路
1.每五分鐘統(tǒng)計一次日志異常ip
2.被封的異常ip一小時后自動解封
3.盡量減少對Nginx的重啟，完成全部判斷后再去考慮是否重啟Nginx進程
4.黑名單ip采用非iptable，使用將deny+ip語句加入blockip.conf中（后期解封比較好處理），并且在上述語句塊中nginx.conf中include此文件(blockip.conf可以根據(jù)需要放入http 語句塊、server 語句塊、location 語句塊)
5.blockip.conf設計為deny + ip + ；號 + #號 + 時間戳(五個可以分割的值)
程序流程圖
程序有兩個腳本組成
1.python寫的blockip.conf中的ip根據(jù)時間戳去解封（簡稱sub），返回一個是夠要重啟的信號給shell
2.shell寫的根據(jù)最近五分鐘訪問超過100次（生產(chǎn)環(huán)境建議改成500-1000）的ip，加入到blockip.conf，根據(jù)是否有新ip加入和sub返回值判斷Nginx是否需要重啟
腳本
1.nginx_black.sh
#/bin/bash
#/usr/local/python3.9/bin/python3 /root/ai2/sub_oldip.py
reload1=$(/usr/local/python3.9/bin/python3 /root/ai2/sub_oldip.py) ##調(diào)用python腳本，是否返回重啟
reload2=nores ##默認值不重啟
#echo "$reload1"
sleep 1s
my_log=/root/ai2/log.txt
#logfile=/root
logfile=/usr/local/tengine/logs ##Nginx日志
confdir=/usr/local/tengine/conf/blockip.conf ##Nginx的blockip.conf目錄
time_sjc=$(date -d now +%s) ##獲取時間戳
my_log_date=`date +"%Y-%m-%d %H:%M:%S"` ##日志記錄時間
start_time=`date -d "-5min" +"%H:%M:%S"` ##start_time-stop_time的值為Nginx統(tǒng)計日志的時間為5分鐘
#echo "$start_time"
stop_time=`date +"%H:%M:%S"`
#echo "$stop_time"
#過濾出單位之間內(nèi)的日志并統(tǒng)計最高ip數(shù)，請?zhí)鎿Q為你的日志路徑
tac $logfile/host.access.log | awk -v st="$start_time" -v et="$stop_time" ' {t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' |awk '{print $1}' |grep -i -v -E "google|yahoo|baidu|msnbot|FeedSky|sogou" |sort | uniq -c | sort -nr |head -20> $logfile/log_ip_top20
ip=`cat $logfile/log_ip_top20 | awk '{if($1>50)print $2}'` ##統(tǒng)計排名前10的ip訪問次數(shù)，100次以上加入黑名單
ip_tmp=`cat $logfile/log_ip_top20 | awk '{if($1>50)print $2}' |head -1` ##用于if判斷去首行，多行會報錯
##echo "$ip"
if [ "$ip_tmp" = "" ];then ##如果ip_tmp為空，打印沒有黑名單ip
echo "$my_log_date no black ip " >> $my_log
else
# for line in $ip ##按行讀取黑名單ip，按格式加入到blockip.conf和日志
# do
# echo "deny $line ; # $time_sjc" >> $confdir
# echo "$my_log_date deny $line " >> $my_log
# done
# #/usr/local/tengine/sbin/nginx -s reload
# reload2=res ##賦值reload2 需要重啟
for line in $ip ##按行讀取黑名單ip，按格式加入到blockip.conf和日志
do
if [ `grep -c "$line" $confdir` -eq '0' ];then
echo "deny $line ; # $time_sjc" >> $confdir
echo "$my_log_date deny $line " >> $my_log
reload2=res
else
#line_uptime="deny $line ; # $time_sjc"
#sed -e "s/.*'$line'.*$/$line_uptime/g" $confdir
sed -i /"$line"/d "$confdir"
echo "deny $line ; # $time_sjc" >> $confdir
echo "$my_log_date $line is in conf" >> $my_log
fi
done
fi
#echo "$reload1"
#echo "$reload2"
##如果reload1或者reload2都為res則重啟，否則不重啟；
if [ "$reload1" = "res" ] || [ "$reload2" = "res" ];then
/usr/local/tengine/sbin/nginx -s reload ##替換自己的Nginx環(huán)境變量
echo "$my_log_date Nginx reload" >> $my_log
else
echo "$my_log_date Nginx no reload" >> $my_log
fi
2.sub_oldip.py
#!/usr/bin/python3
# chenzhenhua
import string,time,os
time_now = int(time.time())
log_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
dir = "/usr/local/tengine/conf/blockip.conf" ##修改自己的blockip.conf地址
f_log = open("/root/ai2/log.txt","a") ##本程序日志
with open(dir,"r",encoding="utf-8") as f: ##讀取blockip.conf
lines = f.readlines()
#print(lines)
with open(dir,"w",encoding="utf-8") as f2: ##把日期小于3600的ip重新寫入回blockip.conf
for line in lines:
if line == '' or line == '\n':
continue
else:
old_time = int(line.strip().split()[4]) ##取第五個值，然后和現(xiàn)在時間挫進行對比
time_sjc = time_now -old_time
ipadd = line.split()[1]
if time_sjc > 3600: ###根據(jù)要求調(diào)整秒數(shù)，秒數(shù)大于次值不再重新寫入blockip.conf
line_log = line.strip().split()[1]
f_log.write("%s sub %s \n"%(log_time,line_log ) )
continue
else:
f2.write(line)
f2.close()
with open(dir,"r",encoding="utf-8") as f3:
lines2 = f3.readlines()
f3.close()
#time.sleep(0.5)
if lines2 == lines: ###對比新、老blockip.conf是否一致
f_log.write("%s py over retrun nores \n" % (log_time))
# time.sleep(0.5)
print('nores') ##返回shell不要求重啟
else:
f_log.write("%s py over retrun res \n" % (log_time))
# time.sleep(0.5)
print('res') ##返回shell不要求重啟
f_log.close()測試
加入每五分鐘執(zhí)行一次
[root@Zabbix ~]# crontab -e */5 * * * * /root/ai2/nginx_black.sh
其他服務器進行ab測試，沒有的百度安裝
ab -c 10 -n 100 http://172.16.3.89/test2/
再回到本機進行查看，發(fā)現(xiàn)已經(jīng)加入黑名單中
[root@Zabbix logs]# tail -f /root/ai2/log.txt 2021-08-14 18:15:02 Nginx no reload 2021-08-14 18:20:01 py over retrun nores 2021-08-14 18:20:02 no black ip 2021-08-14 18:20:02 Nginx no reload 2021-08-14 18:25:01 py over retrun nores 2021-08-14 18:25:02 no black ip 2021-08-14 18:25:02 Nginx no reload 2021-08-14 18:30:01 py over retrun nores 2021-08-14 18:30:02 deny 192.168.200.244 2021-08-14 18:30:02 Nginx reload
[root@Zabbix logs]# cat /usr/local/tengine/conf/blockip.conf deny 192.168.200.244 ; # 1628937002
我們再去剛才ab測試服務器進行curl查看，已經(jīng)返回403
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了nginx日志配置指令詳解,nginx有一個非常靈活的日志記錄模式,每個級別的配置可以有各自獨立的訪問日志,需要的朋友可以參考下2014-07-07
本篇文章是小編整理的關于Nginx實現(xiàn)前后端分離的詳細代碼，如果你對此有需要，可以參考測試下。2018-02-02
這篇文章主要給大家介紹了關于nginx是如何修改默認運行80端口的方法，文中介紹的非常詳細，需要的朋友可以參考借鑒，下面來一起看看吧。2017-04-04
下面小編就為大家?guī)硪黄狶INUX中NGINX反向代理下的TOMCAT集群(詳解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
NginxWebUI 是一款圖形化管理 nginx 配置的工具,可以使用網(wǎng)頁來快速配置 nginx單機與集群的各項功能,本文就來介紹一下Nginx網(wǎng)頁配置工具nginxWebUI的具體使用,感興趣的可以了解一下2023-08-08
這篇文章主要為大家介紹了Nginx工作模式及代理配置的使用細節(jié)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-03-03
本篇文章主要介紹了Nginx 啟用 OCSP Stapling的配置，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-03-03
這篇文章主要為大家詳細介紹了Nginx+Tomcat高性能負載均衡集群搭建教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
nginx php-fpm中啟用慢日志配置（用于檢測執(zhí)行較慢的PHP腳本）
這篇文章主要介紹了nginx php-fpm中啟用慢日志配置,php-fpm慢日志slowlog設置可以讓我們很好的看見哪些php進程速度太慢而導致的網(wǎng)站問題,可以讓我們方便的找到問題的所在,需要的朋友可以參考下2014-05-05
Nginx配置統(tǒng)計流量帶寬請求及記錄實時請求狀態(tài)的方法
這篇文章主要介紹了Nginx中配置統(tǒng)計流量帶寬請求及記錄實時請求狀態(tài)的方法,分別用到了ngx_req_status和ngx_realtime_request模塊,需要的朋友可以參考下2016-01-01