快捷導(dǎo)航

利用php抓取蜘蛛爬蟲痕跡的示例代碼

更新時(shí)間：2016年09月30日 11:00:52 投稿：daisy

這篇文章給大家分享了如何利用php抓取蜘蛛爬蟲痕跡的方法，文中給出了示例代碼，方便大家學(xué)習(xí)和參考，有需要的朋友們可以參考借鑒。

前言

相信許多的站長(zhǎng)、博主可能最關(guān)心的無非就是自己網(wǎng)站的收錄情況，一般情況下我們可以通過查看空間服務(wù)器的日志文件來查看搜索引擎到底爬取了我們哪些個(gè)頁(yè)面，不過，如果用php代碼分析web日志中蜘蛛爬蟲痕跡，是比較好又比較直觀方便操作的！下面是示例代碼，有需要的朋友們下面來一起看看吧。

示例代碼

<?php
//獲取蜘蛛爬蟲名或防采集
function isSpider(){
  $bots = array(
          'Google'  => 'googlebot',
          'Baidu'    => 'baiduspider',
          'Yahoo'    => 'yahoo slurp',
          'Soso'    => 'sosospider',
          'Msn'    => 'msnbot',
          'Altavista'  => 'scooter ',
          'Sogou'    => 'sogou spider',
          'Yodao'    => 'yodaobot'
      );
  $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
  foreach ($bots as $k => $v){
    if (strstr($v,$userAgent)){
      return $k;
      break;
    }
  }
  return false;
} 
//獲取哪種蜘蛛爬蟲后保存蜘蛛痕跡。
//根據(jù)采集時(shí)HTTP_USER_AGENT是否為空來防止采集
//抓蜘蛛爬蟲
$spi  = isSpider();
if($spi){
  $tlc_thispage  = addslashes($_SERVER['HTTP_USER_AGENT']);
  $file      = 'robot.txt';
  $time      = date('Y-m-d H:i:s',mktime());
  $handle      = fopen($file,'a+');
  $PR        = $_SERVER['REQUEST_URI'];
  fwrite($handle, "Time:{$time} ROBOT:{$spi} AGENT:{$tlc_thispage} URL:{$PR} \n\r");
  fclose($handle);
}
?>

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有問題大家可以留言交流。

您可能感興趣的文章:

相關(guān)文章

php微信公眾號(hào)開發(fā)之歡迎老朋友
這篇文章主要為大家詳細(xì)介紹了php微信公眾號(hào)開發(fā)之歡迎老朋友，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-10-10
PHP從數(shù)組中刪除元素的四種方法實(shí)例
本篇文章主要介紹了PHP從數(shù)組中刪除元素的四種方法實(shí)例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2017-05-05
PHP實(shí)現(xiàn)打包zip并下載功能
這篇文章主要介紹了PHP實(shí)現(xiàn)打包zip并下載功能，代碼簡(jiǎn)單易懂，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧
2018-06-06
php 解決舊系統(tǒng) 查出所有數(shù)據(jù)分頁(yè)的類
不同之處在于沒有實(shí)現(xiàn)分頁(yè)的系統(tǒng)，默認(rèn)全部查出來現(xiàn)在就要不能動(dòng)后臺(tái)的基礎(chǔ)上進(jìn)行操作可以采用相應(yīng)的如下代碼
2012-08-08
Yii2針對(duì)游客、用戶防范規(guī)則和限制的解決方法分析
這篇文章主要介紹了Yii2針對(duì)游客、用戶防范規(guī)則和限制的解決方法,簡(jiǎn)單分析了Yii2對(duì)于游客、用戶防范規(guī)則和限制的原理與相應(yīng)的設(shè)置方法,需要的朋友可以參考下
2016-10-10
PHP利用Cookie設(shè)置用戶30分鐘未操作自動(dòng)退出功能
這篇文章主要介紹了PHP利用Cookie設(shè)置用戶30分鐘未操作自動(dòng)退出功能,需要的朋友可以參考下
2017-07-07
ThinkPHP5.1+Ajax實(shí)現(xiàn)的無刷新分頁(yè)功能示例
這篇文章主要介紹了ThinkPHP5.1+Ajax實(shí)現(xiàn)的無刷新分頁(yè)功能,結(jié)合實(shí)例形式詳細(xì)分析了ThinkPHP5.1+Ajax無刷新分頁(yè)具體原理、前臺(tái)數(shù)據(jù)發(fā)送與后臺(tái)處理相關(guān)操作技巧,需要的朋友可以參考下
2020-02-02
php 調(diào)用百度sms來發(fā)送短信的實(shí)現(xiàn)示例
這篇文章主要介紹了php 調(diào)用百度sms來發(fā)送短信的實(shí)現(xiàn)示例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2018-11-11
php使用百度天氣接口示例
這篇文章主要介紹了百度天氣接口使用示例,需要的朋友可以參考下
2014-04-04
php使用遞歸計(jì)算文件夾大小
這篇文章主要介紹了php使用遞歸計(jì)算文件夾大小，代碼很簡(jiǎn)潔使用，這里推薦給大家。
2014-12-12