php 向訪客和爬蟲顯示不同的內(nèi)容
更新時間：2009年11月09日 18:59:56 作者：
為了提高網(wǎng)頁的用戶體驗, 我們經(jīng)常會做一些對搜索引擎不太友好的事情, 但某些情況下這并不是無法挽回的, 可以通過向自然人和搜索引擎機器人顯示不同的內(nèi)容來提供好的用戶體驗和 SEO.
聽說本方法會觸犯搜索引擎的一些操作原則, 有可能被被各搜索引擎處罰, 甚至刪除網(wǎng)站. 所以我剛剛已經(jīng)撤下這樣的處理, 直到確定其不屬于作弊. 有魄力的朋友可以繼續(xù)使用, 但后果自負(fù).
本博客的首頁和存檔頁面以列表的形式顯示文章, 在訪客點擊展開文章時才加載文章的內(nèi)容. 因為文章的內(nèi)容部分包含了大量的文字和圖片, 需要大量的加載時間和流量. 盡快地向訪客展示網(wǎng)頁可以挽留大量的來訪者. 而對于手機用戶來說, 加載時間和流量則更為重要.
一般來說, 網(wǎng)站的首頁是搜索引擎訪問最多的頁面, 應(yīng)該盡可能的向它們展示有意義的內(nèi)容, 但是要以列表的形式顯示文章的話, 訪客和搜索引擎只能獲取到文章標(biāo)題信息. 文章內(nèi)容或者摘要 (尤其是文章的第一句) 對于 SEO 來說是極其重要的, 所以我們要設(shè)法向爬蟲發(fā)送這些內(nèi)容.
好, 我們可以通過 User Agent 來判斷訪問者是否為爬蟲, 如果是, 則以一般形式顯示文章, 否則以列表形式顯示文章列表. 可以用以下的 PHP 方法判斷是否為爬蟲:
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
‘Googlebot', // Google 爬蟲
‘Baiduspider', // 百度爬蟲
‘Yahoo! Slurp', // 雅虎爬蟲
‘YodaoBot', // 有道爬蟲
‘msnbot' // Bing爬蟲
// 更多爬蟲關(guān)鍵字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
這是我使用的方法, 各爬蟲以訪問評論由高到低進行排序. 然后通過下面的的方法向爬蟲和自然人顯示不同的內(nèi)容
本博客的首頁和存檔頁面以列表的形式顯示文章, 在訪客點擊展開文章時才加載文章的內(nèi)容. 因為文章的內(nèi)容部分包含了大量的文字和圖片, 需要大量的加載時間和流量. 盡快地向訪客展示網(wǎng)頁可以挽留大量的來訪者. 而對于手機用戶來說, 加載時間和流量則更為重要.
一般來說, 網(wǎng)站的首頁是搜索引擎訪問最多的頁面, 應(yīng)該盡可能的向它們展示有意義的內(nèi)容, 但是要以列表的形式顯示文章的話, 訪客和搜索引擎只能獲取到文章標(biāo)題信息. 文章內(nèi)容或者摘要 (尤其是文章的第一句) 對于 SEO 來說是極其重要的, 所以我們要設(shè)法向爬蟲發(fā)送這些內(nèi)容.
好, 我們可以通過 User Agent 來判斷訪問者是否為爬蟲, 如果是, 則以一般形式顯示文章, 否則以列表形式顯示文章列表. 可以用以下的 PHP 方法判斷是否為爬蟲:
復(fù)制代碼 代碼如下:
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
‘Googlebot', // Google 爬蟲
‘Baiduspider', // 百度爬蟲
‘Yahoo! Slurp', // 雅虎爬蟲
‘YodaoBot', // 有道爬蟲
‘msnbot' // Bing爬蟲
// 更多爬蟲關(guān)鍵字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
這是我使用的方法, 各爬蟲以訪問評論由高到低進行排序. 然后通過下面的的方法向爬蟲和自然人顯示不同的內(nèi)容
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了php設(shè)計模式之委托模式，以一個實例為大家介紹了php委托模式，感興趣的朋友可以參考一下2016-02-02
php 301轉(zhuǎn)向?qū)崿F(xiàn)代碼
php對全站的所有內(nèi)頁進行域名301轉(zhuǎn)向2008-09-09
所謂的CC攻擊就是對方利用程序或一些代理對您的網(wǎng)站進行不間斷的訪問，造成您的網(wǎng)站處理不了而處于當(dāng)機狀態(tài)2011-12-12
php adodb連接帶密碼access數(shù)據(jù)庫實例，測試成功
最近前臺有個開票系統(tǒng)需要改進導(dǎo)致需要用PHP去連接那個系統(tǒng)的 數(shù)據(jù)庫，ACCESS的帶密碼的。寫了個簡單的實例，記錄下。2008-05-05
這篇文章給大家詳細(xì)分析了為什么PHP程序員需要學(xué)習(xí)使用Swoole，并通過實例做了分析，有興趣的朋友參考下。2018-06-06
php 時間time與日期date之間的使用詳解及區(qū)別
PHP中有time函數(shù)，也有date函數(shù)，這兩個函數(shù)在使用時候的區(qū)別很明顯。但更應(yīng)注意，time和date是兩個完全不時的格式，當(dāng)然還有一種字符串格式。本文重點介紹這幾者的區(qū)別。2016-11-11
php恢復(fù)數(shù)組的key為數(shù)字序列的方法
這篇文章主要介紹了php恢復(fù)數(shù)組的key為數(shù)字序列的方法,涉及php操作數(shù)組鍵名的技巧,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了php驗證手機號碼的方法，驗證手機號碼通常利用php正則表達試驗證了,手機號的規(guī)則是長度11位然后是13，15，18等等開頭,這個我們只要加以分類規(guī)劃并可實現(xiàn)完美手機號碼驗證正則了，需要的朋友可以參考下2015-11-11
PHP函數(shù)內(nèi)引用全局變量的解決方法2008-10-10
PHPWind與Discuz截取字符函數(shù)substrs與cutstr性能比較
PHP性能優(yōu)化系列第四期實戰(zhàn)篇，如何使用PEAR Benchmark類工具獲取函數(shù)執(zhí)行性能，這里以PHPWind與Discuz!兩個社區(qū)論壇的截取字符函數(shù)substrs與cutstr為例，分析兩個函數(shù)的執(zhí)行性能情況2011-12-12