python BeautifulSoup庫的安裝與使用

更新時間：2020年12月17日 15:01:30 作者：霧霾王者

這篇文章主要介紹了python BeautifulSoup庫的安裝與使用，幫助大家更好的理解和使用python，感興趣的朋友可以了解下

1.BeautifulSoup簡介

BeautifulSoup4和 lxml 一樣，Beautiful Soup 也是一個HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)。

BeautifulSoup支持Python標準庫中的HTML解析器,還支持一些第三方的解析器，如果我們不安裝它，則 Python 會使用 Python默認的解析器，lxml 解析器更加強大，速度更快，推薦使用lxml 解析器。

Beautiful Soup自動將輸入文檔轉換為Unicode編碼，輸出文檔轉換為utf-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時，Beautiful Soup就不能自動識別編碼方式了。然后，你僅僅需要說明一下原始編碼方式就可以了。

2.BeautifulSoup的安裝

首先我們需要安裝一個BeautifulSoup庫。我安裝的版本是python3。所以就可以直接在cmd下用pip3命令進行安裝。

命令：

pip3 install beautifulsoup4

在安裝好BeautifulSoup后，我們可以通過導入該庫來判斷是否安裝成功。

命令：

>>> from bs4 import BeautifulSoup

回車后不報錯，這說明我們已經(jīng)將其安裝成功。

3.BeautifulSoup常用功能

# beautiful soup 網(wǎng)頁中提取信息的python庫
#  BeautifulSoup 對象表示的是一個文檔的全部內(nèi)容
#  prettify() 按照標準的縮進格式的結構輸出
#  get_text() 會將HTML文檔中的所有標簽清除,返回一個只包含文字的字符串
from bs4 import BeautifulSoup

text='''
<?xml version="1.0" encoding="ISO-8859-1"?>

<bookstore>

<book>
 <title lang="eng">Harry Potter</title>
 <price>29.99</price>
</book>

<book>
 <title lang="eng">Learning XML</title>
 <price>39.95</price>
</book>

</bookstore>
'''

# create 對象
bf=BeautifulSoup(text)

# 按照標準縮進格式輸出
print(bf.prettify())
# 會將HTML文檔中的所有標簽清除,返回一個只包含文字的字符串
print(bf.get_text())

# Tag對象 
# 標簽 表示HTML中的一個個標簽
# name
# attrs

tag=bf.title # 獲取title標簽
print(tag)
print(type(tag)) # tag類型
print(tag.name) # 標簽名稱
print(tag.attrs) #標簽屬性
print(tag.attrs["lang"]) #單獨獲取某個屬性 方法1
print(bf.title["lang"]) #單獨獲取某個屬性 方法2

# NavigableString tag.string
# 表示標簽中的文字
print(tag.string)
print(type(tag.string)) # 查看數(shù)據(jù)類型

# Comment 注釋部分
# 一個特殊類型的NavigableString對象
# 輸出的內(nèi)容不包括注釋符號
string='''
<p><!-- 這是注釋！ --></p>
'''
sp=BeautifulSoup(string)
print(sp)
print(sp.p.string) # 去獲取標簽中是文字

# 兩個常用函數(shù) 


# find_all() 搜索當前tag的所有tag子節(jié)點,并判斷是否符合給定的條件
# 返回結果是一個列,可以包含多個元素
print(soup.find_all('title'),end="\n-------\n")

#find() 直接返回第一個元素
print(soup.find("title"))

print(soup.find_all("title",lang="eng")) # 查找title標簽 屬性lang=eng
print(soup.find_all("title",{"lang":"eng"})) # 結果同上
print(soup.find_all(["title","price"])) #獲取多個標簽
print(soup.find_all("title",lang="eng")[0].get_text()) # 獲取文本


# 三大常見節(jié)點
#  子節(jié)點 一個Tag可能包含多個字符串或其他的tag，這些都是這個tag的子節(jié)點
#  父節(jié)點 配個tag或字符串都有父節(jié)點：被包含在某個tag中
#  兄弟節(jié)點 平級的節(jié)點
end="\n-------\n"
print(soup.book,end) # 獲取book節(jié)點信息
print(soup.book.contents,end) # 獲取book下的所有子節(jié)點
print(soup.book.contents[1],end) # 獲取book下的所有子節(jié)點中的第一個節(jié)點

print(soup.book.children,end) # children 生成迭代器
for child in soup.book.children:
  print("===",child)
  
print(soup.title.parent,end)
print(soup.book.parent,end)
for parent in soup.title.parents: #注意parent和parents區(qū)別
  print("===",parent.name)
  
print(soup.title.next_sibling,end) # 獲取該節(jié)點的下一個兄弟節(jié)點
print(soup.title.previous_sibling,end) # 獲取該節(jié)點的上一個兄弟節(jié)點
print(soup.title.next_siblings,end) # 獲取該節(jié)點的全部兄弟節(jié)點
for i in soup.title.next_siblings: 
  print("===",i)

以上就是python BeautifulSoup庫的安裝與使用的詳細內(nèi)容，更多關于python BeautifulSoup庫的資料請關注腳本之家其它相關文章！

您可能感興趣的文章: