其實(shí)采集可以這么理解，定義頭和尾，除了在截取鏈接不需要檢測(cè)，在其它地方你定義的頭和尾，在同一個(gè)html表里不能有相同的，為什么不能有相同的呢？是因?yàn)椴杉拿恳徊剑ǔ私厝℃溄油猓┒际歉鶕?jù)你所定義的頭和尾來(lái)截取頁(yè)面內(nèi)容的。所以你在定義頭和尾不僅不能有相同的，還要盡可能地把不需要的內(nèi)容排除開。如果你理解了這個(gè)定義頭和尾，基本上對(duì)于簡(jiǎn)單的頁(yè)面是能采集的。下面我以一個(gè)實(shí)例來(lái)說(shuō)明一下：


以下內(nèi)容為程序代碼:

新聞列表網(wǎng)址：http://ent.qq.com/newxw/thd_sjym.htmhttp://ent.qq.com/newxw/thd_sjym.htmhttp://ent.qq.com/newxw/thd_sjym.htm
列表開始代碼： <td style="padding-left:6px;"><table  border="0" cellpadding="0" cellspacing="0" class="table_logo">
列表結(jié)束代碼：    <td height="5" colspan="2"></td>
鏈接開始代碼：·<a target="_blank" href="
鏈接結(jié)束代碼：">
標(biāo)題開始標(biāo)記：<title>
標(biāo)題結(jié)束標(biāo)記：</title>
正文開始標(biāo)記：<div id="ArticleCnt">
正文結(jié)束標(biāo)記：<div id="ArticleTopic"></div>


上面所采集的頁(yè)面是比較標(biāo)準(zhǔn)的?，F(xiàn)在來(lái)分析一下：

列表網(wǎng)址：就是你要采集的頁(yè)面，這一步很關(guān)鍵，以前這一步我是亂搞，現(xiàn)在發(fā)現(xiàn)這一步關(guān)系到你能否采集完所有內(nèi)容。一般你進(jìn)入采集頁(yè)面先判斷一下是不是有多頁(yè)，如果有多頁(yè)你進(jìn)入第二頁(yè)和第一頁(yè)是不是有規(guī)律變化，比如是：xxxx_1.htm,xxx_2.htm,特別注意數(shù)字，如果第一頁(yè)開始就有_id的規(guī)律，那就把第一頁(yè)作為列表網(wǎng)址，如果第一頁(yè)與第二頁(yè)沒(méi)相關(guān)規(guī)律，而是從第二頁(yè)開始才能這樣的規(guī)律，那將第二頁(yè)作為列表網(wǎng)址，第一頁(yè)放到一邊，等所有數(shù)據(jù)采集完了，再來(lái)采集單獨(dú)頁(yè)面，反正以后也只采集第一頁(yè)，為啥？因?yàn)橐话愀碌亩荚诘谝豁?yè)。

列表開始與結(jié)束：這里就是向采集程序說(shuō)明你要采集的內(nèi)容大概方向，比如上例里的列表網(wǎng)址，里面有好多內(nèi)容，我只采集右邊的新聞，這時(shí)你可以搜索第一條新聞，向上看，找段在這個(gè)HTML文件里唯一的內(nèi)容，這里定義頭和尾要值得注意的是：空格也算的。比如<a href前有四個(gè)空格，這也算個(gè)特征，反正不管怎么樣，只要是全文僅有的就行。同樣方法，只是這次搜索最后一條新聞，定位一下，省得全文亂找，浪費(fèi)時(shí)間，往下推找個(gè)全文僅有的代碼，

鏈接開始與結(jié)束，這里你得看一下采集頁(yè)面了，然后再看HTML文件，一般是<a href=   開始，>結(jié)束。中間的內(nèi)容就讓采集程序幫你去放
到這里已經(jīng)接近成功了，這時(shí)為了保險(xiǎn)一點(diǎn)，隨機(jī)點(diǎn)五個(gè)頁(yè)面，找五個(gè)頁(yè)面的共同點(diǎn)，把標(biāo)題開始與結(jié)束，正文開始與結(jié)束填一下，
最后測(cè)試一下。應(yīng)該可以了吧。

下面談?wù)劮猪?yè)，分頁(yè)有二種，一種是采集頁(yè)的分頁(yè)，另一種是文章內(nèi)容的分頁(yè)。

采集頁(yè)的分頁(yè)：

例：

以下內(nèi)容為程序代碼:

新聞列表網(wǎng)址：http://www.pconline.com.cn/mobile/news/hgxz/index_1.htmlhttp://www.pconline.com.cn/mobile/news/hgxz/index_1.html
列表開始代碼：1px solid; ">文章列表 </TD>
列表結(jié)束代碼： <DIV ALIGN="CENTER">
列表索引分頁(yè)： 批量生成：http://www.pconline.com.cn/mobile/news/hgxz/index_{$ID}.htmlhttp://www.pconline.com.cn/mobile/news/hgxz/index_{$ID}.html
生成范圍：4to1
鏈接開始代碼：<a href="
鏈接結(jié)束代碼：target="_blank"
標(biāo)題開始標(biāo)記：<title>
標(biāo)題結(jié)束標(biāo)記：-太平洋電腦網(wǎng)Pconline-[手機(jī)新品速遞]</title>
正文開始標(biāo)記：廣告：ad_top</IFRAME>
正文結(jié)束標(biāo)記：<br clear=all>


請(qǐng)注意列表網(wǎng)址與列表索引分頁(yè)鏈接的不同之處：就是將index_1.html改為了index_{$ID}.html，
生成范圍：這里有多少頁(yè)就?to?,有二種選擇，由后到前，前到后，隨便你喜好。

內(nèi)容頁(yè)的分頁(yè)：

例：

以下內(nèi)容為程序代碼:

新聞列表網(wǎng)址：http://www.enet.com.cn/emobile/inforcenter/articlelist.jsp?page=1&atype=A&acid=4146http://www.enet.com.cn/emobile/inforcenter/articlelist.jsp?page=1&atype=A&acid=4146
列表開始代碼：<td class="filter4" width="350"><font color="#FFFFFF">手機(jī)資訊
列表結(jié)束代碼：  <td height="2"></td>
批量生成： http://www.enet.com.cn/emobile/inforcenter/articlelist.jsp?page={$ID}&atype=A&acid=4146http://www.enet.com.cn/emobile/inforcenter/articlelist.jsp?page={$ID}&atype=A&acid=4146
生成范圍：10to1(這樣的好處最新新聞在前面，不然剛好跟采集頁(yè)面相反，最后一頁(yè)為最新新聞)
鏈接開始代碼：<td><a href="
鏈接結(jié)束代碼：target="_blank"
標(biāo)題開始標(biāo)記：<strong class="p24">
標(biāo)題結(jié)束標(biāo)記：   <td align="center">(這里要把前面的空格一起復(fù)制了，不然會(huì)出現(xiàn)錯(cuò)誤）
正文開始標(biāo)記：<table width="100%" border="0" cellspacing="0" cellpadding="2" align="center">
正文結(jié)束標(biāo)記：<p id="adv_under_cont"></p>
下頁(yè)開始標(biāo)記：           <a href="./(找到下一頁(yè)，把<a href="./的空格也復(fù)制了）
下頁(yè)結(jié)束標(biāo)記：">下一頁(yè)</a>

請(qǐng)注意下頁(yè)開始與結(jié)束：找到分頁(yè)代碼，找到下一頁(yè)的代碼：定義好下一頁(yè)開始與結(jié)束就OK。這里多試幾次，因?yàn)檫@里代碼可選擇范圍小。 

最新評(píng)論