使用BeautifulSoup爬蟲程序獲取百度搜索結(jié)果的標題和url示例
更新時間：2014年01月19日 15:37:07 作者：
這篇文章主要介紹了使用BeautifulSoup編寫了一段爬蟲程序獲取百度搜索結(jié)果的標題和url的示例，大家參考使用吧
熟悉Java的jsoup包的話，對于Python的BeautifulSoup庫應該很容易上手。
復制代碼 代碼如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----標題----\n" + a_click.renderContents()#標題
print "----鏈接----\n" + str(a_click.get("href"))#鏈接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相關(guān)文章
Python圖像的增強處理操作示例【基于ImageEnhance類】
這篇文章主要介紹了Python圖像的增強處理操作,結(jié)合實例形式分析了使用ImageEnhance類處理圖片的亮度、對比度、色度以及銳度等相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
今天小編就為大家分享一篇python迭代dict的key和value的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
今天小編就為大家分享一篇關(guān)于Python使用字典的嵌套功能詳解，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-02-02
函數(shù)是具有某種特定功能的代碼塊，可以重復使用。這篇文章將為大家詳細介紹Python中函數(shù)的定義與使用，感興趣的小伙伴可以學習一下2022-06-06
今天抽空給大家介紹Django模板層過濾器和繼承的問題，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友參考下吧2021-07-07
Python不同目錄間進行模塊調(diào)用的實現(xiàn)方法
這篇文章主要介紹了Python不同目錄間進行模塊調(diào)用的實現(xiàn)方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了python 通過手機號識別出對應的微信性別，本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-12-12
這篇文章主要介紹了Python二叉樹的定義及常用遍歷算法,結(jié)合實例形式分析了基于Python的二叉樹定義與先序、中序、后序、層序等遍歷方法,需要的朋友可以參考下2017-11-11
本文給大家介紹的是在Python中調(diào)用fortran代碼，主要是用到了f2py這個程序，十分的實用，有需要的小伙伴可以參考下2016-04-04
在本篇文章里小編給大家整理的是一篇關(guān)于python樹的同構(gòu)學習筆記以及相關(guān)實例代碼內(nèi)容，有需要的朋友們學習下。2019-09-09