.net 解決spider多次和重復抓取的方案
更新時間：2015年01月26日 16:47:14 投稿：hebedich
這篇文章主要介紹了.net 解決spider多次和重復抓取的解決方案,需要的朋友可以參考下
原因:
早期由于搜索引擎蜘蛛的不完善，蜘蛛在爬行動態(tài)的url的時候很容易由于網(wǎng)站程序的不合理等原因造成蜘蛛迷路死循環(huán)。
所以蜘蛛為了避免之前現(xiàn)象就不讀取動態(tài)的url，特別是帶？的url
解決方案:
1):配置路由
復制代碼 代碼如下:
routes.MapRoute("RentofficeList",
"rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html",
new { controller = "Home", action = "RentOfficeList" },
new[] { "Mobile.Controllers" });
第一個參數(shù)是路由名稱
第二個參數(shù)是路由的Url模式,參數(shù)之間用{}-{}方式分隔
第三個參數(shù)是一個包含默認路由的對象
第四個參數(shù)是應用程序的一組命名空間
2):設置連接
<a href="@Url.Action("RentofficeList",new RouteValueDictionary { { "AredId",0},{"PriceId",0},{"AcreageId",0},{"SortId",0},{"SortNum",0}})">默認排序</a>
對照上面的Url模式,依次寫入?yún)?shù)賦值
3):獲取參數(shù)
復制代碼 代碼如下:
int areaId = GetRouteInt("AredId");//獲取參數(shù)
/// <summary>
/// 獲得路由中的值
/// </summary>
/// <param name="key">鍵</param>
/// <param name="defaultValue">默認值</param>
/// <returns></returns>
protected int GetRouteInt(string key, int defaultValue)
{
return Convert.ToInt32(RouteData.Values[key], defaultValue);
}
/// <summary>
/// 獲得路由中的值
/// </summary>
/// <param name="key">鍵</param>
/// <returns></returns>
protected int GetRouteInt(string key)
{
return GetRouteInt(key, 0);
}
根據(jù)上面3個步驟操作,顯示的url地址為:
http://localhost:3841/rentofficelist/3-0-0-0-0.html
這樣就可以避免靜態(tài)頁面上使用動態(tài)參數(shù),顯示的頁面都為靜態(tài)頁面
您可能感興趣的文章:
相關文章
asp.net cookie的操作，寫入、讀取與操作實現(xiàn)代碼。2009-05-05
本篇文章小編為大家介紹，ASP.NET筆記之廣告控件的使用方法，需要的朋友參考下2013-04-04
直接分析盜鏈原理：看下面用httpwatch截獲的http發(fā)送的數(shù)據(jù)2008-11-11
本文將實現(xiàn)登錄時記住用戶的帳號密碼,接下來我們來模擬一個登錄介面，要把這個登錄的信息記錄至Cookie，還要把Cookie的過期時間設置7天之后過期，感興趣的朋友可以參考下，希望本文對你的cookie學習有所幫助2013-01-01
在web開發(fā)時，有的系統(tǒng)要求同一個用戶在同一時間只能登錄一次，也就是如果一個用戶已經(jīng)登錄了，在退出之前如果再次登錄的話需要報錯。2009-02-02
這篇文章主要為大家詳細介紹了VS2013安裝提示必須安裝ie10的解決辦法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-05-05
asp.net網(wǎng)站防惡意刷新的Cookies與Session解決方法
這篇文章主要介紹了asp.net網(wǎng)站防惡意刷新的Cookies與Session解決方法,分別以實例的形式講述了采用cookie法與session法實現(xiàn)WEB頁面防止惡意刷新的技巧,需要的朋友可以參考下2014-09-09
Asp.net ajax實現(xiàn)任務提示頁面的簡單代碼
這篇文章介紹了Asp.net ajax實現(xiàn)任務提示頁面的簡單代碼，有需要的朋友可以參考一下2013-11-11
EF使用數(shù)據(jù)注解特性創(chuàng)建表結構
本文詳細講解了EF使用數(shù)據(jù)注解特性創(chuàng)建表結構的方法，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-03-03
asp.net利用存儲過程和div+css實現(xiàn)分頁(類似于博客園首頁分頁)
怎么用aspnetpager.dll這個插件對服務器控件進行分頁，今天與我大家分享一下asp.net利用存儲過程和div+css實現(xiàn)分頁（類似于博客園首頁分頁）2012-01-01