Apache下通過shell腳本提交網(wǎng)站404死鏈的方法

更新時間：2017年09月28日 15:30:43 投稿：mrr

這篇文章主要介紹了Apache下通過shell腳本提交網(wǎng)站404死鏈,需要的朋友可以參考下

網(wǎng)站運營人員對于死鏈這個概念一定不陌生，網(wǎng)站的一些數(shù)據(jù)刪除或頁面改版等都容易制造死鏈，影響用戶體驗不說，過多的死鏈還會影響到網(wǎng)站的整體權重或排名。

百度站長平臺提供的死鏈提交工具,可將網(wǎng)站存在的死鏈(協(xié)議死鏈、404頁面)進行提交,可快速刪除死鏈,幫助網(wǎng)站SEO優(yōu)化。在提交死鏈的文件中逐個手動填寫死鏈的話太麻煩，工作中我們提倡復雜自動化，所以本文我們一起交流分享Apache服務中通過shell腳本整理網(wǎng)站死鏈，便于我們提交。

、

1.配置Apache記錄搜索引擎

Apache是目前網(wǎng)站建設最為主流的web服務，但是apache的日志文件默認是不記錄百度、谷歌等各大搜索引擎的爬取程序的，所以首先需要我們設置Apache的配置文件。

找到Apache的配置文件httpd.conf，在配置文件中找到下面兩行：

CustomLog "logs/access_log" common
 #CustomLog "logs/access_log" combined

默認采用的是common，這里我們只需要將common這一行前面加#注釋掉,然后將combined這一行前的#去掉即可。然后保存重啟Apache服務。

注：如果你的服務器上添加了多個站點，每個站點有單獨的配置文件，則我們只需要在相應站點的配置文件中設置CustomLog項即可，例如：

vim /usr/local/apache/conf/vhost/www.chanzhi.org.conf
 ServerAdmin [email protected] DocumentRoot "/data/wwwroot/www.chanzhi.org"
 ServerName www.chanzhi.org
 ServerAlias chanzhi.org
 ErrorLog "/data/wwwlogs/www.chanzhi.org_error_apache.log"
 CustomLog "/data/wwwlogs/www.chanzhi.org_apache.log" combined
 SetOutputFilter DEFLATE
 Options FollowSymLinks ExecCGI
 Require all granted
 AllowOverride All
 Order allow,deny
 Allow from all
 DirectoryIndex index.html index.php

下面是配置前后的網(wǎng)站日志記錄格式：

配置前：

配置后：

2.編寫shell腳本

我們通過shell腳本獲取網(wǎng)站日志中指定爬蟲的抓取記錄，然后匯總到一個文件中，便于后期使用。代碼如下，比如保存為deathlink.sh

#!/bin/bash
#初始化變量
#定義蜘蛛UA信息（默認是百度蜘蛛）
UA='+http://www.baidu.com/search/spider.html'
#前一天的日期（apache日志）
DATE=`date +%Y%m%d -d "1 day ago"`
#定義日志路徑
logfile=/data/wwwlogs/www.chanzhi.org_apache.log-${DATE}.log
#定義死鏈文件存放路徑
deathfile=/data/wwwroot/www.chanzhi.org/deathlink.txt
#定義網(wǎng)站訪問地址
website=http://www.chanzhi.org
#分析日志并保存死鏈數(shù)據(jù)
for url in `awk -v str="${UA}" '$9=="404" && $15~str {print $7}' ${logfile}`
do
 grep -q "$url" ${deathfile} || echo ${website}${url} >>${deathfile}
done

大家在使用該腳本時，根據(jù)自己服務器情況調整下路徑和字段即可，然后執(zhí)行腳本,：