在Nginx中攔截特定用戶代理的教程
現(xiàn)代互聯(lián)網(wǎng)滋生了大量各種各樣的惡意機(jī)器人和網(wǎng)絡(luò)爬蟲，比如像惡意軟件機(jī)器人、垃圾郵件程序或內(nèi)容刮刀，這些惡意工具一直偷偷摸摸地掃描你的網(wǎng)站，干些諸如檢測(cè)潛在網(wǎng)站漏洞、收獲電子郵件地址，或者只是從你的網(wǎng)站偷取內(nèi)容。大多數(shù)機(jī)器人能夠通過(guò)它們的“用戶代理”簽名字符串來(lái)識(shí)別。
作為第一道防線，你可以嘗試通過(guò)將這些機(jī)器人的用戶代理字符串添加入robots.txt文件來(lái)阻止這些惡意軟件機(jī)器人訪問(wèn)你的網(wǎng)站。但是，很不幸的是，該操作只針對(duì)那些“行為良好”的機(jī)器人，這些機(jī)器人被設(shè)計(jì)遵循robots.txt的規(guī)范。許多惡意軟件機(jī)器人可以很容易地忽略掉robots.txt，然后隨意掃描你的網(wǎng)站。
另一個(gè)用以阻擋特定機(jī)器人的途徑，就是配置你的網(wǎng)絡(luò)服務(wù)器，通過(guò)特定的用戶代理字符串拒絕要求提供內(nèi)容的請(qǐng)求。本文就是說(shuō)明如何在nginx網(wǎng)絡(luò)服務(wù)器上阻擋特定的用戶代理。
在Nginx中將特定用戶代理列入黑名單
要配置用戶代理阻擋列表，請(qǐng)打開你的網(wǎng)站的nginx配置文件，找到server定義部分。該文件可能會(huì)放在不同的地方，這取決于你的nginx配置或Linux版本（如，/etc/nginx/nginx.conf,/etc/nginx/sites-enabled/<your-site>,/usr/local/nginx/conf/nginx.conf,/etc/nginx/conf.d/<your-site>）。
listen 80 default_server;
server_name xmodulo.com;
root /usr/share/nginx/html;
....
}
在打開該配置文件并找到 server 部分后，添加以下 if 聲明到該部分內(nèi)的某個(gè)地方。
listen 80 default_server;
server_name xmodulo.com;
root /usr/share/nginx/html;
# 大小寫敏感的匹配
if ($http_user_agent ~ (Antivirx|Arian) {
return 403;
}
#大小寫無(wú)關(guān)的匹配
return 403;
}
....
}
如你所想，這些 if 聲明使用正則表達(dá)式匹配了任意不良用戶字符串，并向匹配的對(duì)象返回403 HTTP狀態(tài)碼。 $http_user_agent是HTTP請(qǐng)求中的一個(gè)包含有用戶代理字符串的變量?！畘'操作符針對(duì)用戶代理字符串進(jìn)行大小寫敏感匹配，而‘~*'操作符則進(jìn)行大小寫無(wú)關(guān)匹配?！畖'操作符是邏輯或，因此，你可以在 if 聲明中放入眾多的用戶代理關(guān)鍵字，然后將它們?nèi)孔钃醯簟?/p>
在修改配置文件后，你必須重新加載nginx以激活阻擋：
$ sudo /path/to/nginx -s reload
你可以通過(guò)使用帶有 “--user-agent” 選項(xiàng)的 wget 測(cè)試用戶代理阻擋。
$ wget --user-agent "malicious bot" http://<nginx-ip-address>
管理Nginx中的用戶代理黑名單
目前為止，我已經(jīng)展示了在nginx中如何阻擋一些用戶代理的HTTP請(qǐng)求。如果你有許多不同類型的網(wǎng)絡(luò)爬蟲機(jī)器人要阻擋，又該怎么辦呢？
由于用戶代理黑名單會(huì)增長(zhǎng)得很大，所以將它們放在nginx的server部分不是個(gè)好點(diǎn)子。取而代之的是，你可以創(chuàng)建一個(gè)獨(dú)立的文件，在該文件中列出所有被阻擋的用戶代理。例如，讓我們創(chuàng)建/etc/nginx/useragent.rules，并定義以下面的格式定義所有被阻擋的用戶代理的圖譜。
$ sudo vi /etc/nginx/useragent.rules
default 0;
~*malicious 1;
~*backdoor 1;
~*netcrawler 1;
~Antivirx 1;
~Arian 1;
~webbandit 1;
}
與先前的配置類似，‘~*'將匹配以大小寫不敏感的方式匹配關(guān)鍵字，而‘~'將使用大小寫敏感的正則表達(dá)式匹配關(guān)鍵字?！癲efault 0”行所表達(dá)的意思是，任何其它文件中未被列出的用戶代理將被允許。
接下來(lái)，打開你的網(wǎng)站的nginx配置文件，找到里面包含 http 的部分，然后添加以下行到 http 部分某個(gè)位置。
.....
include /etc/nginx/useragent.rules
}
注意，該 include 聲明必須出現(xiàn)在 server 部分之前（這就是為什么我們將它添加到了 http 部分里）。
現(xiàn)在，打開nginx配置定義你的服務(wù)器的部分，添加以下 if 聲明：
....
if ($badagent) {
return 403;
}
....
}
最后，重新加載nginx。
$ sudo /path/to/nginx -s reload
現(xiàn)在，任何包含有/etc/nginx/useragent.rules中列出的關(guān)鍵字的用戶代理將被nginx自動(dòng)禁止。
相關(guān)文章
nginx proxy_set_header的具體實(shí)現(xiàn)
proxy_set_header?是 Nginx 配置中的一個(gè)重要指令,本文主要介紹了nginx proxy_set_header的具體實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2024-07-07
Nginx中使用gzip_http_version解決CDN只支持http 1.0問(wèn)題
這篇文章主要介紹了Nginx中使用gzip_http_version解決CDN只支持http 1.0問(wèn)題,問(wèn)題原因是在Header信息中看到Transfer-Encoding: chunked,使用本文方法就可以解決這個(gè)問(wèn)題,需要的朋友可以參考下2014-09-09
詳解linux中 Nginx 常見502錯(cuò)誤問(wèn)題解決辦法
這篇文章主要介紹了詳解linux中 Nginx 常見502錯(cuò)誤問(wèn)題解決辦法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
Nginx利用Logrotate實(shí)現(xiàn)日志分割的詳細(xì)過(guò)程
nginx日志分割是很常見的運(yùn)維工作,下面這篇文章主要給大家介紹了關(guān)于Nginx利用Logrotate日志分割的詳細(xì)過(guò)程,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05
這篇文章主要為大家詳細(xì)介紹了Nginx搭建https服務(wù)器教程，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-04-04
本文主要介紹了Nginx日志按天分割實(shí)戰(zhàn),方便快速按照天的維度分析以及查找報(bào)錯(cuò)定位,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-05-05
本文詳細(xì)介紹了Nginx的緩存配置,包括緩存文件的存儲(chǔ)路徑、緩存的有效期、哪些請(qǐng)求走緩存、哪些請(qǐng)求不緩存,以及如何刪除緩存,同時(shí),還提供了一個(gè)綜合案例來(lái)說(shuō)明如何配置和使用Nginx緩存2025-03-03
這篇文章主要介紹了Nginx服務(wù)器基本的模塊配置和使用全攻略,從Nginx的安裝開始細(xì)致入微地講解各個(gè)常用模塊的部署和參數(shù)使用,需要的朋友可以參考下2016-04-04
利用nginx搭建靜態(tài)資源服務(wù)器的方法步驟
這篇文章主要介紹了利用nginx搭建靜態(tài)資源服務(wù)器的方法步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
這篇文章主要介紹了詳解nginx 301跳轉(zhuǎn)到帶www域名方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-08-08