python 爬取天氣網(wǎng)衛(wèi)星圖片
更新時(shí)間：2021年06月07日 15:02:13 作者：MrWayneLee
根據(jù)網(wǎng)站URL的規(guī)律編寫的一個(gè)爬取天氣網(wǎng)衛(wèi)星圖片的python爬蟲，使用了requests包，感興趣的朋友可以參考下
項(xiàng)目地址：
https://github.com/MrWayneLee/weather-demo
代碼部分
下載生成文件功能
# 下載并生成文件
def downloadImg(imgDate, imgURLs, pathName):
a,s,f = 0,0,0
timeStart = time.time()
while a < len(imgURLs):
req = requests.get(imgURLs[a])
imgName = str(imgURLs[a])[-13:-9]
print(str("開始請(qǐng)求" + imgDate + " " + imgName + "的數(shù)據(jù)"))
if req.status_code == 200:
open(pathName + '\\' + os.path.basename(imgName) + '.png', 'wb').write(req.content)
print("數(shù)據(jù)" + imgDate + " " + imgName + "下載完成")
s += 1
del req
elif req.status_code == 404:
print("數(shù)據(jù)" + imgDate + " " + imgName + "不存在")
f += 1
a += 1
timeEnd = time.time()
totalTime = round(timeEnd - timeStart, 2)
print("全部數(shù)據(jù)請(qǐng)求完成！總耗時(shí)：",totalTime,"秒")
print("共請(qǐng)求", a, "次；成功", s, "次；失敗", f, "次")
創(chuàng)建文件夾
def createFolder(pathName):
imgName_Year = pathName[0:4]
imgName_Month = pathName[4:6]
imgName_Day = pathName[6:8]
imgName_date = imgName_Year + '-' + imgName_Month + '-' + imgName_Day
mainPath = 'F:\\[Wayne Lee]\\學(xué)習(xí)資料\\Python\\爬取圖像'
newPathName = mainPath + '\\' + imgName_date
realPath = newPathName + '\\'
isExists = os.path.exists(newPathName)
if not isExists:
os.makedirs(newPathName)
print("新文件夾 [" + imgName_date + "] 創(chuàng)建成功")
return realPath
else:
print(pathName + "文件夾已存在")
return realPath
生成時(shí)間列表
def generateTime(imgUrl):
timeList = []
imgUrlList = []
h,j = 0,0
while h < 24:
m = 0
while m < 60:
timeList.append("{:0>4d}".format(h * 100 + m))
m += 15
h += 1
# print(timeList)
# print(len(timeList))
while j < len(timeList):
imgUrlList.append(str(imgUrl + timeList[j] + "00000.JPG"))
# print(timeList[j])
j += 1
return imgUrlList
# print(imgUrlList)
# print(len(imgUrlList))
生成下載URL列表
def downloadUrl(imgDate):
imgUrl = "http://image.nmc.cn/product/" + imgDate[0:4] + "/" + imgDate[4:6] + "/" + imgDate[6:8] + "/WXBL/SEVP_NSMC_WXBL_FY4A_ETCC_ACHN_LNO_PY_" + imgDate # + "0000" +"00000.JPG"
URLlist = list(generateTime(imgUrl))
return URLlist
主函數(shù)
# 主函數(shù)
if __name__ == '__main__':
# imgUrl = "http://image.nmc.cn/product/2020/04/11/WXBL/SEVP_NSMC_WXBL_FY4A_ETCC_ACHN_LNO_PY_20200411044500000.JPG"
# imgUrl = "http://image.nmc.cn/product/2020/04/11/WXBL/SEVP_NSMC_WXBL_FY4A_ETCC_ACHN_LNO_PY_20200411"
# imgName = imgUrl[-21:-9]
while True:
print("[1]手動(dòng)輸入日期")
print("[2]獲取當(dāng)天日期")
print("[3]退出程序")
choose = str(input("你的選擇："))
if choose == "1":
imgDate = str(input("請(qǐng)輸入日期[如20200411]："))
urlList = list(downloadUrl(imgDate))
break
elif choose == "2":
imgDate = time.strftime("%Y%m%d",time.localtime())
urlList = list(downloadUrl(imgDate))
break
elif choose == "3":
break
else:
print("你的選擇有誤！請(qǐng)重試")
開始下載
pathName = createFolder(imgDate)
# 開始下載
downloadImg(imgDate, urlList, pathName)
完整代碼
import requests
import time
import datetime
import os
# 下載并生成文件
def downloadImg(imgDate, imgURLs, pathName):
a,s,f = 0,0,0
timeStart = time.time()
while a < len(imgURLs):
req = requests.get(imgURLs[a])
imgName = str(imgURLs[a])[-13:-9]
print(str("開始請(qǐng)求" + imgDate + " " + imgName + "的數(shù)據(jù)"))
if req.status_code == 200:
open(pathName + '\\' + os.path.basename(imgName) + '.png', 'wb').write(req.content)
print("數(shù)據(jù)" + imgDate + " " + imgName + "下載完成")
s += 1
del req
elif req.status_code == 404:
print("數(shù)據(jù)" + imgDate + " " + imgName + "不存在")
f += 1
a += 1
timeEnd = time.time()
totalTime = round(timeEnd - timeStart, 2)
print("全部數(shù)據(jù)請(qǐng)求完成！總耗時(shí)：",totalTime,"秒")
print("共請(qǐng)求", a, "次；成功", s, "次；失敗", f, "次")
# 創(chuàng)建文件夾
def createFolder(pathName):
imgName_Year = pathName[0:4]
imgName_Month = pathName[4:6]
imgName_Day = pathName[6:8]
imgName_date = imgName_Year + '-' + imgName_Month + '-' + imgName_Day
mainPath = 'F:\\[Wayne Lee]\\學(xué)習(xí)資料\\Python\\爬取圖像'
newPathName = mainPath + '\\' + imgName_date
realPath = newPathName + '\\'
isExists = os.path.exists(newPathName)
if not isExists:
os.makedirs(newPathName)
print("新文件夾 [" + imgName_date + "] 創(chuàng)建成功")
return realPath
else:
print(pathName + "文件夾已存在")
return realPath
# 生成時(shí)間列表
def generateTime(imgUrl):
timeList = []
imgUrlList = []
h,j = 0,0
while h < 24:
m = 0
while m < 60:
timeList.append("{:0>4d}".format(h * 100 + m))
m += 15
h += 1
# print(timeList)
# print(len(timeList))
while j < len(timeList):
imgUrlList.append(str(imgUrl + timeList[j] + "00000.JPG"))
# print(timeList[j])
j += 1
return imgUrlList
# print(imgUrlList)
# print(len(imgUrlList))
# 生成下載URL列表
def downloadUrl(imgDate):
imgUrl = "http://image.nmc.cn/product/" + imgDate[0:4] + "/" + imgDate[4:6] + "/" + imgDate[6:8] + "/WXBL/SEVP_NSMC_WXBL_FY4A_ETCC_ACHN_LNO_PY_" + imgDate # + "0000" +"00000.JPG"
URLlist = list(generateTime(imgUrl))
return URLlist
# 主函數(shù)
if __name__ == '__main__':
# imgUrl = "http://image.nmc.cn/product/2020/04/11/WXBL/SEVP_NSMC_WXBL_FY4A_ETCC_ACHN_LNO_PY_20200411044500000.JPG"
# imgUrl = "http://image.nmc.cn/product/2020/04/11/WXBL/SEVP_NSMC_WXBL_FY4A_ETCC_ACHN_LNO_PY_20200411"
# imgName = imgUrl[-21:-9]
while True:
print("[1]手動(dòng)輸入日期")
print("[2]獲取當(dāng)天日期")
print("[3]退出程序")
choose = str(input("你的選擇："))
if choose == "1":
imgDate = str(input("請(qǐng)輸入日期[如20200411]："))
urlList = list(downloadUrl(imgDate))
break
elif choose == "2":
imgDate = time.strftime("%Y%m%d",time.localtime())
urlList = list(downloadUrl(imgDate))
break
elif choose == "3":
break
else:
print("你的選擇有誤！請(qǐng)重試")
# 創(chuàng)建文件夾
pathName = createFolder(imgDate)
# 開始下載
downloadImg(imgDate, urlList, pathName)
爬取效果
以上就是python 爬取天氣網(wǎng)衛(wèi)星圖片的詳細(xì)內(nèi)容，更多關(guān)于python 爬取天氣網(wǎng)圖片的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
python enumerate函數(shù)的使用方法總結(jié)
這篇文章主要介紹了python enumerate使用方法總結(jié)，enumerate函數(shù)用于遍歷序列中的元素以及它們的下標(biāo)，有興趣的可以了解一下2017-11-11
這篇文章主要為大家詳細(xì)介紹了python Opencv將圖片轉(zhuǎn)為字符畫的方法，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-03-03
這篇文章主要介紹了python爬蟲神器Pyppeteer入門及使用,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
使用python操作lmdb對(duì)數(shù)據(jù)讀取的實(shí)例
這篇文章主要介紹了使用python操作lmdb對(duì)數(shù)據(jù)讀取的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-12-12
Python標(biāo)準(zhǔn)庫(kù)uuid模塊(生成唯一標(biāo)識(shí))詳解
uuid通過Python標(biāo)準(zhǔn)庫(kù)的uuid模塊生成通用唯一ID（或“UUID”）的一種快速簡(jiǎn)便的方法,下面這篇文章主要給大家介紹了關(guān)于Python標(biāo)準(zhǔn)庫(kù)uuid模塊(生成唯一標(biāo)識(shí))?的相關(guān)資料,需要的朋友可以參考下2022-05-05
python算法與數(shù)據(jù)結(jié)構(gòu)之單鏈表的實(shí)現(xiàn)代碼
鏈表是一種物理存儲(chǔ)單元上非連續(xù)、非順序的存儲(chǔ)結(jié)構(gòu)，數(shù)據(jù)元素的邏輯順序是通過鏈表中的指針鏈接次序?qū)崿F(xiàn)的。這篇文章主要介紹了python算法與數(shù)據(jù)結(jié)構(gòu)之單鏈表的實(shí)現(xiàn)代碼,需要的朋友可以參考下2019-06-06
使用Python腳本對(duì)GiteePages進(jìn)行一鍵部署的使用說明
剛好之前有了解過python的自動(dòng)化，就想著自動(dòng)化腳本，百度一搜還真有類似的文章。今天就給大家分享下使用Python腳本對(duì)GiteePages進(jìn)行一鍵部署的使用說明，感興趣的朋友一起看看吧2021-05-05
在本篇文章里小編給大家整理的是一篇關(guān)于python關(guān)鍵字的查看方法和實(shí)例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-01-01
這篇文章主要為大家詳細(xì)介紹了python合并同類型excel表格的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-04-04
pytorch cuda上tensor的定義 以及減少cpu的操作詳解
這篇文章主要介紹了pytorch cuda上tensor的定義 以及減少cpu的操作詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06