快捷導(dǎo)航

Python使用Beautiful Soup包編寫(xiě)爬蟲(chóng)時(shí)的一些關(guān)鍵點(diǎn)

更新時(shí)間：2016年01月20日 11:14:28 作者：crifan

這篇文章主要介紹了Python使用Beautiful Soup包編寫(xiě)爬蟲(chóng)時(shí)的一些關(guān)鍵點(diǎn),文中講到了parent屬性的使用以及soup的編碼問(wèn)題,需要的朋友可以參考下

1.善于利用soup節(jié)點(diǎn)的parent屬性

比如對(duì)于已經(jīng)得到了如下html代碼：

<td style="padding-left:0" width="60%"><label>November</label>
<input type="Hidden" id="cboMonth1" name="cboMonth1" value="11">
</td><td style="padding-right:0;" width="40%">
  <label>2012</label>
  <input type="Hidden" id="cboYear1" name="cboYear1" value="2012">
</td>

的soup變量eachMonthHeader了。

想要提取其中的

Month的label的值：November

和Year的label的值：2012

最簡(jiǎn)單，也是最省事的辦法是，直接搜兩個(gè)label，然后肯定會(huì)找到這兩個(gè)label，然后分別對(duì)應(yīng)著Month和Year的label，然后獲得對(duì)應(yīng)的string即可：

foundTwoLabel = eachMonthHeader.findAll("label");
print "foundTwoLabel=",foundTwoLabel;
monthLabel = foundTwoLabel[0];
yearLabel = foundTwoLabel[1];
 
monthStr = monthLabel.string;
yearStr = yearLabel.string;
 
print "monthStr=",monthStr; # monthStr= November
print "yearStr=",yearStr; # yearStr= 2012

但是很明顯，這樣的邏輯性很不好，而且萬(wàn)一處理多個(gè)這樣的soup變量，而且兩者的順便顛倒了，那么結(jié)果也就錯(cuò)誤了。

此時(shí)，可以考慮利用soup變量的parent屬性，從一個(gè)soup變量本身，獲得其上一級(jí)的soup變量。
示例代碼如下：

# <td style="padding-left:0" width="60%"><label>November</label>
# <input type="Hidden" id="cboMonth1" name="cboMonth1" value="11">
# </td><td style="padding-right:0;" width="40%">
  # <label>2012</label>
  # <input type="Hidden" id="cboYear1" name="cboYear1" value="2012">
# </td>
foundCboMonth = eachMonthHeader.find("input", {"id":re.compile("cboMonth\d+")});
#print "foundCboMonth=",foundCboMonth;
tdMonth = foundCboMonth.parent;
#print "tdMonth=",tdMonth;
tdMonthLabel = tdMonth.label;
#print "tdMonthLabel=",tdMonthLabel;
monthStr = tdMonthLabel.string;
print "monthStr=",monthStr;
 
foundCboYear = eachMonthHeader.find("input", {"id":re.compile("cboYear\d+")});
#print "foundCboYear=",foundCboYear;
tdYear = foundCboYear.parent;
#print "tdYear=",tdYear;
tdYearLabel = tdYear.label;
#print "tdYearLabel=",tdYearLabel;
yearStr = tdYearLabel.string;
print "yearStr=",yearStr;

我們?cè)賮?lái)看一個(gè)例子：

from BeautifulSoup import BeautifulSoup 
doc = ['<html><head><title>Page title</title></head>',
    '<body><p id="firstpara" align="center">This is paragraph <b>one</b>.',
    '<p id="secondpara" align="blah">This is paragraph <b>two</b>.',
    '</html>']
soup = BeautifulSoup(''.join(doc))

print soup.prettify()
# <html>
# <head>
#  <title>
#  Page title
#  </title>
# </head>
# <body>
#  <p id="firstpara" align="center">
#  This is paragraph
#  <b>
#   one
#  </b>
#  .
#  </p>
#  <p id="secondpara" align="blah">
#  This is paragraph
#  <b>
#   two
#  </b>
#  .
#  </p>
# </body>
# </html>

這個(gè)例子中，<HEAD> Tag的parent是<HTML> Tag. <HTML> Tag 的parent是BeautifulSoup 剖析對(duì)象自己。剖析對(duì)象的parent是None. 利用parent，你可以向前遍歷剖析樹(shù)。

soup.head.parent.name
# u'html'
soup.head.parent.parent.__class__.__name__
# 'BeautifulSoup'
soup.parent == None
# True

2.當(dāng)解析非UTF-8或ASCII編碼類(lèi)型的HTML時(shí)，需要指定對(duì)應(yīng)的字符編碼

當(dāng)html為ASCII或UTF-8編碼時(shí)，可以不指定html字符編碼，便可正確解析html為對(duì)應(yīng)的soup：

#這里respHtml是ASCII或UTF-8編碼，此時(shí)可以不指定編碼類(lèi)型，即可正確解析出對(duì)應(yīng)的soup
soup = BeautifulSoup(respHtml);

當(dāng)html為其他類(lèi)型編碼，比如GB2312的話，則需要指定相應(yīng)的字符編碼，BeautifulSoup才能正確解析出對(duì)應(yīng)的soup：

比如：

#此處respHtml是GB2312編碼的，所以要指定該編碼類(lèi)型，BeautifulSoup才能解析出對(duì)應(yīng)的soup
htmlCharset = "GB2312";
soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset);

您可能感興趣的文章: