Python使用bs4獲取58同城城市分類的方法
更新時間：2015年07月08日 12:05:50 作者：小剛1
這篇文章主要介紹了Python使用bs4獲取58同城城市分類的方法,涉及Python使用BeautifulSoup庫解析html頁面的技巧,需要的朋友可以參考下
本文實例講述了Python使用bs4獲取58同城城市分類的方法。分享給大家供大家參考。具體如下：
# -*- coding:utf-8 -*-
#! /usr/bin/python
import urllib
import os, datetime, sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding( "utf-8" )
__BASEURL__ = "http://bj.58.com/"
__INITURL__ = "http://bj.58.com/hezu/"
soup=BeautifulSoup(urllib.urlopen(__INITURL__))
lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)
f=open('data.txt', 'w')
for element in lv1Elements[1:]:
f.write((element.get_text() + '\r\n'))
print element.get_text()
url = __BASEURL__ + element.get('href')
print url
soup=BeautifulSoup(urllib.urlopen(url))
lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a')
texts = [t.get_text() for t in lv2Elements]
f.write(' '.join(texts) + '\r\n\r\n')
f.close()
希望本文所述對大家的Python程序設(shè)計有所幫助。
相關(guān)文章
python條件變量之生產(chǎn)者與消費者操作實例分析
這篇文章主要介紹了python條件變量之生產(chǎn)者與消費者操作,結(jié)合具體實例形式分析了Python條件變量的概念、原理、及線程操作的相關(guān)技巧,需要的朋友可以參考下2017-03-03
這篇文章主要介紹了使用Python對Csv文件操作實例代碼，非常具有實用價值，需要的朋友可以參考下2017-05-05
python實現(xiàn)圖片，視頻人臉識別(dlib版)
這篇文章主要介紹了python實現(xiàn)圖像，視頻人臉識別(dlib版)的相關(guān)資料，幫助大家更好的理解和學習python，感興趣的朋友可以了解下2020-11-11
關(guān)于jupyter代碼自動補全設(shè)置方式
這篇文章主要介紹了關(guān)于jupyter代碼自動補全設(shè)置方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
這篇文章主要為大家詳細介紹了python文件和文件夾復制函數(shù)的實現(xiàn)代碼，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-02-02
本文主要介紹了exe反編譯為.py文件的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
如何在Python中利用matplotlib.pyplot畫出函數(shù)圖詳解
通過圖像可以直觀地學習函數(shù)變化、分布等規(guī)律,在學習函數(shù)、概率分布等方面效果顯著,下面這篇文章主要給大家介紹了關(guān)于如何在Python中利用matplotlib.pyplot畫出函數(shù)圖的相關(guān)資料,需要的朋友可以參考下2022-08-08
這篇文章主要介紹了python 還原梯度下降算法實現(xiàn)一維線性回歸，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-10-10
python使用標準庫根據(jù)進程名如何獲取進程的pid詳解
Python有一套很有用的標準庫(standard library)。標準庫會隨著Python解釋器，一起安裝在你的電腦中的，所以下面這篇文章主要給大家介紹了關(guān)于python使用標準庫根據(jù)進程名如何獲取進程pid的相關(guān)資料，需要的朋友可以參考下。2017-10-10
在本篇文章里小編給大家整理了關(guān)于Python的缺點和劣勢總結(jié)，有興趣的朋友們可以學習下。2019-11-11