apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲采集的配置方法
更新時(shí)間：2014年06月30日 08:48:10 投稿：junjie
這篇文章主要介紹了apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲采集的配置方法,注意一定要寫到Location節(jié)點(diǎn),否則不起作用,可以精確匹配,也可以IP匹配,需要的朋友可以參考下
Apache中禁止網(wǎng)絡(luò)爬蟲，之前設(shè)置了很多次的，但總是不起作用，原來(lái)是是寫錯(cuò)了，不能寫到Dirctory中，要寫到Location中
復(fù)制代碼 代碼如下:
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬蟲
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>
這是禁止了所有包含spider字符的爬蟲。
如果要針對(duì)性的禁止爬蟲，改成精確匹配的爬蟲字符串，如果bingbot、Googlebot等等
相關(guān)文章
本篇文章文章主要介紹了linux patch命令，此命令用于為特定軟件包打補(bǔ)丁,他使用diff命令對(duì)源文件進(jìn)行操作。有興趣的可以了解一下。2016-11-11
BT寶塔Linux服務(wù)器管理助手架設(shè)VPS面板(安裝及初始設(shè)置應(yīng)用)
這篇文章主要介紹了BT寶塔Linux服務(wù)器管理助手架設(shè)VPS面板也是就是BT寶塔助手安裝及初始設(shè)置應(yīng)用演示,需要的朋友可以參考下2017-04-04
Apache跨域資源訪問報(bào)錯(cuò)問題解決方案
這篇文章主要介紹了Apache跨域資源訪問報(bào)錯(cuò)問題解決方案,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
這篇文章主要介紹了Linux解壓JAR包 查看class內(nèi)容方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-11-11
這篇文章主要介紹了詳解在Linux虛擬機(jī)下配置tomcat，非常具有實(shí)用價(jià)值，需要的朋友可以參考下。2017-01-01
linux實(shí)現(xiàn)自動(dòng)部署tomcat腳本
這篇文章主要為大家詳細(xì)介紹了linux實(shí)現(xiàn)自動(dòng)部署tomcat的腳本，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-03-03
linux下怎樣用命令啟動(dòng)docker服務(wù)
這篇文章主要介紹了linux下怎樣用命令啟動(dòng)docker服務(wù)問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-04-04
centos中nginx按日期自動(dòng)分割訪問日志的方法
本篇文章主要介紹了centos中nginx按日期自動(dòng)分割訪問日志的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。2017-03-03
如何關(guān)閉http Methods中的Trace 提高安全意識(shí)
在配置文件http.conf 添加 TraceEnable off 即可關(guān)閉2013-02-02
Linux中SELinux三種模式的啟動(dòng)、關(guān)閉與查看方式
這篇文章主要介紹了Linux中SELinux三種模式的啟動(dòng)、關(guān)閉與查看方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02