php記錄搜索引擎爬行記錄的實(shí)現(xiàn)代碼
下面是完整代碼:
//記錄搜索引擎爬行記錄 $searchbot = get_naps_bot();
if ($searchbot)
{ $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url = $_SERVER['HTTP_REFERER'];
$file = WEB_PATH.'robotslogs.txt';
$date = date('Y-m-d H:i:s');
$data = fopen($file,'a');
fwrite($data,"Time:$date robot:$searchbot URL:$tlc_thispage/r/n");
fclose($data);
}
WEB_PATH為index.PHP下define的根目錄路徑,意思就是說robotslogs.txt文件是放在根目錄下的。
通過get_naps_bot()獲取蜘蛛爬行記錄,然后在通過addslashes處理一下,將數(shù)據(jù)存儲于變量$tlc_thispage中。
fopen打開robotslogs.txt文件,將數(shù)據(jù)通過函數(shù)fwrite寫入,在通過函數(shù)fclose關(guān)閉就可以了。
因?yàn)槲矣X得沒必要,所以把自己網(wǎng)站上的代碼刪除了,所以也沒有效果示例了。
PS:php獲取各搜索蜘蛛爬行記錄的代碼
支持如下的搜索引擎:Baidu,Google,Bing,Yahoo,Soso,Sogou,Yodao爬行網(wǎng)站的記錄!
代碼:
<?php
/**
* 獲取搜索引擎爬行記錄
* edit by www.fzitv.net
*/
function get_naps_bot()
{
$useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
if (strpos($useragent, 'googlebot') !== false){
return 'Google';
}
if (strpos($useragent, 'baiduspider') !== false){
return 'Baidu';
}
if (strpos($useragent, 'msnbot') !== false){
return 'Bing';
}
if (strpos($useragent, 'slurp') !== false){
return 'Yahoo';
}
if (strpos($useragent, 'sosospider') !== false){
return 'Soso';
}
if (strpos($useragent, 'sogou spider') !== false){
return 'Sogou';
}
if (strpos($useragent, 'yodaobot') !== false){
return 'Yodao';
}
return false;
}
function nowtime(){
$date=date("Y-m-d.G:i:s");
return $date;
}
$searchbot = get_naps_bot();
if ($searchbot) {
$tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
$url=$_SERVER['HTTP_REFERER'];
$file="www.fzitv.net.txt";
$time=nowtime();
$data=fopen($file,"a");
fwrite($data,"Time:$time robot:$searchbot URL:$tlc_thispage\n");
fclose($data);
}
?>
總結(jié)
以上所述是小編給大家介紹的php記錄搜索引擎爬行記錄,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
相關(guān)文章
Yii2實(shí)現(xiàn)增刪改查后留在當(dāng)前頁的方法詳解
yii2.0框架是PHP開發(fā)的一個比較高效率的框架,集合了作者的大量心血,下面這篇文章主要介紹了Yii2如何實(shí)現(xiàn)增刪改查后仍留在當(dāng)前頁的方法,需要的朋友可以參考借鑒,下面來一起看看吧。2017-01-01
ThinkPHP使用Smarty第三方插件方法小結(jié)
這篇文章主要介紹了ThinkPHP使用Smarty第三方插件方法,結(jié)合實(shí)例形式總結(jié)分析了ThinkPHP使用Smarty模板的具體步驟與相關(guān)注意事項(xiàng),需要的朋友可以參考下2016-03-03
php用戶注冊頁面利用js進(jìn)行表單驗(yàn)證具體實(shí)例
這篇文章介紹了php用戶注冊頁面利用js進(jìn)行表單驗(yàn)證具體實(shí)例,有需要的朋友可以參考一下2013-10-10
如何使用微信公眾平臺開發(fā)模式實(shí)現(xiàn)多客服
其實(shí)微信公眾平臺的多客服功能已經(jīng)出來好久了,并且一出來的時候我就已經(jīng)為自己的公眾號實(shí)現(xiàn)了,原本以為大家都已經(jīng)會了,但是今天還是有人問起這個多客服功能怎么使用,我找了下網(wǎng)上也沒什么好的教程,今天我就給大家發(fā)一篇比較簡單易懂的教程吧2016-01-01
PHP程序員簡單的開展服務(wù)治理架構(gòu)操作詳解(一)
這篇文章主要介紹了PHP程序員簡單的開展服務(wù)治理架構(gòu)操作,結(jié)合實(shí)例形式詳細(xì)分析了PHP開展服務(wù)治理架構(gòu)操作相關(guān)原理、RPC通信實(shí)現(xiàn)技巧與注意事項(xiàng),需要的朋友可以參考下2020-05-05
THINKPHP3.2使用soap連接webservice的解決方法
這篇文章主要為大家詳細(xì)介紹了THINKPHP3.2使用soap連接webservice的解決方法,具有一定的參考價值,感興趣的小伙伴們可以參考一下2017-12-12

