本文實例講述了Python3爬蟲學(xué)習(xí)之將爬取的信息保存到本地的方法。分享給大家供大家參考，具體如下：

將爬取的信息存儲到本地

之前我們都是將爬取的數(shù)據(jù)直接打印到了控制臺上，這樣顯然不利于我們對數(shù)據(jù)的分析利用，也不利于保存，所以現(xiàn)在就來看一下如何將爬取的數(shù)據(jù)存儲到本地硬盤。

1 對.txt文件的操作

讀寫文件是最常見的操作之一，python3 內(nèi)置了讀寫文件的函數(shù)：open

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None))
Open file and return a corresponding  file object. If the file cannot be opened, an OSError
 is raised.

其中比較常用的參數(shù)為file和mode，參數(shù)file為文件的路徑，參數(shù)mode為操作文件的方式（讀/寫），函數(shù)的返回值為一個file對象，如果文件操作出現(xiàn)異常的話，則會拋出 一個OSError

還以簡書首頁文章題目為例，將爬取到的文章標(biāo)題存放到一個.txt文件中，具體代碼如下：

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info, 'html.parser')
titles = soup.find_all('a', 'title')
try:
  # 在E盤以只寫的方式打開/創(chuàng)建一個名為 titles 的txt文件
  file = open(r'E:\titles.txt', 'w')
  for title in titles:
  # 將爬去到的文章題目寫入txt中
    file.write(title.string + '\n')
finally:
  if file:
    # 關(guān)閉文件（很重要）
    file.close()

open中mode參數(shù)的含義見下表：

其中't'為默認(rèn)模式，'r'相當(dāng)于'rt',符號可以疊加使用，像'r+b'

另外，對文件操作一定要注意的一點是：打開的文件一定要關(guān)閉，否則會占用相當(dāng)大的系統(tǒng)資源，所以對文件的操作最好使用try:...finally:...的形式。但是try:...finally:...的形式會使代碼顯得比較雜亂，所幸python中的with語句可以幫我們自動調(diào)用close（）而不需要我們寫出來，所以，上面代碼中的try:...finally:...可使用下面的with語句來代替：

with open(r'E:\title.txt', 'w') as file:
  for title in titles:
    file.write(title.string + '\n')

效果是一樣的，建議使用with語句

2 圖片的儲存

有時候我們的爬蟲不一定只是爬取文本數(shù)據(jù)，也會爬取一些圖片，下面就來看怎么將爬取的圖片存到本地磁盤。

我們先來選好目標(biāo)，知乎話題：女生怎么健身鍛造好身材？ (單純因為圖多，不要多想哦 （# _ # ) ）

看下頁面的源代碼，找到話題下圖片鏈接的格式，如圖：

可以看到，圖片在img標(biāo)簽中，且class=origin_image zh-lightbox-thumb，而且鏈接是由.jpg結(jié)尾，我們便可以用Beautiful Soup結(jié)合正則表達式的方式來提取所有鏈接，如下:

links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))

提取出所有鏈接后，使用request.urlretrieve來將所有鏈接保存到本地

Copy a network object denoted by a URL to a local file. If the URL points to a local file, the object will not be copied unless filename is supplied. Return a tuple (filename, headers)
where filename is the local file name under which the object can be found, and headers is whatever the info()
method of the object returned by urlopen()
 returned (for a remote object). Exceptions are the same as for urlopen()
.

具體實現(xiàn)代碼如下：

# -*- coding:utf-8 -*-
import time
from urllib import request
from bs4 import BeautifulSoup
import re
url = r'https://www.zhihu.com/question/22918070'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info, 'html.parser')
# Beautiful Soup和正則表達式結(jié)合，提取出所有圖片的鏈接（img標(biāo)簽中，class=**，以.jpg結(jié)尾的鏈接）
links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))
# 設(shè)置保存的路徑，否則會保存到程序當(dāng)前路徑
local_path = r'E:\Pic'
for link in links:
  print(link.attrs['src'])
  # 保存鏈接并命名，time防止命名沖突
  request.urlretrieve(link.attrs['src'], local_path+r'\%s.jpg' % time.time())

運行結(jié)果

PS：希望大家進行圖片爬取的時候，盡量不要將爬下來圖片作為商用，特別是攝影作品，都是具有版權(quán)的，嗯。。。還有就是注意營養(yǎng)哦~~~

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

最新評論