nginx修改配置限制惡意爬蟲(chóng)頻率
更新時(shí)間：2016年08月25日 10:56:50 投稿：daisy
這篇文章主要介紹在nginx中怎樣修改相關(guān)配置，以限制惡意爬蟲(chóng)頻率的方法，有需要的朋友參考下。
如何在nginx中限制惡意網(wǎng)絡(luò)爬蟲(chóng)抓取內(nèi)容呢？也就是限制下惡意爬蟲(chóng)的抓取頻率。下面來(lái)一起看看。
今天在微博發(fā)現(xiàn)@金榮葉 的處理方法很靈活，可以動(dòng)態(tài)設(shè)定一個(gè)爬蟲(chóng)的頻率，達(dá)到減輕服務(wù)器負(fù)載，并且不至于封殺爬蟲(chóng)。
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某個(gè)server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}
超過(guò)設(shè)置的限定頻率，就會(huì)給spider一個(gè)503。
總結(jié)
以上就是nginx修改配置限制惡意爬蟲(chóng)頻率的全部?jī)?nèi)容，希望對(duì)大家的工作和學(xué)習(xí)能有所幫助，如果有疑問(wèn)可以留言交流。
您可能感興趣的文章:
- spring boot+ redis 接口訪問(wèn)頻率限制的實(shí)現(xiàn)
- Redis實(shí)戰(zhàn)記錄之限制操作頻率
- nginx限制ip訪問(wèn)頻率的實(shí)現(xiàn)示例
- nginx配置限制同一個(gè)ip的訪問(wèn)頻率方法
- Nginx 如何限制訪問(wèn)頻率，下載速率和并發(fā)連接數(shù)的方法
- 在nginx中實(shí)現(xiàn)單位時(shí)間內(nèi)限制訪問(wèn)頻率的教程
- Nginx限制搜索引擎爬蟲(chóng)頻率、禁止屏蔽網(wǎng)絡(luò)爬蟲(chóng)配置示例
- Redis和Nginx實(shí)現(xiàn)限制接口請(qǐng)求頻率的示例
相關(guān)文章
本文主要介紹了Nginx Proxy緩存的具體實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-08-08
文章介紹了如何在Windows 11上將Nginx配置為系統(tǒng)服務(wù),并提供了一個(gè)詳細(xì)的步驟指南,包括下載和配置Winsw工具,以及安裝和刪除Nginx服務(wù)的方法2024-12-12
這篇文章主要介紹了Nginx DNS resolver配置實(shí)例,本文講解在proxy_pass 和 upstream server 通信的時(shí)候需要手動(dòng)指定 resolver,本文就給出了配置實(shí)例,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了讓Nginx支持shtml格式的配置方法,shtml格式可以包含一些服務(wù)端指令,同PHP中的include功能類似,需要的朋友可以參考下2014-08-08
詳解Nginx之Location配置(Location匹配順序)
這篇文章主要介紹了詳解Nginx之Location配置(Location匹配順序)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
解決nginx訪問(wèn)頁(yè)面中文亂碼的問(wèn)題
這篇文章主要為大家介紹了nginx訪問(wèn)頁(yè)面中文亂碼解決方案,文中有相關(guān)的代碼示例供大家參考,有需要的朋友可以借鑒參考下,希望能夠有所幫助2023-09-09
這篇文章主要給大家介紹了關(guān)于Nginx中break與last區(qū)別的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
Nginx中實(shí)現(xiàn)請(qǐng)求的緩存數(shù)據(jù)過(guò)期通知
Nginx 作為高性能的反向代理服務(wù)器,緩存機(jī)制是其優(yōu)化性能的重要手段之一,本文主要介紹了Nginx中實(shí)現(xiàn)請(qǐng)求的緩存數(shù)據(jù)過(guò)期通知,感興趣的可以了解一下2024-09-09
本文主要介紹了淺談nginx讀寫鎖的實(shí)現(xiàn)邏輯,是通過(guò)自旋鎖來(lái)實(shí)現(xiàn)的,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-05-05
這篇文章主要介紹了centos服務(wù)器中配置nginx的方法示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06