Python while true實(shí)現(xiàn)爬蟲定時任務(wù)
更新時間：2020年06月08日 11:33:42 作者：戰(zhàn)俘巡航
這篇文章主要介紹了Python爬蟲定時任務(wù)簡單實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
記得以前的windows 任務(wù)定時是可以的正常使用的，今天試了下，發(fā)現(xiàn)不能正常使用了，任務(wù)計劃總是掛起。
接下來記錄下python 爬蟲定時任務(wù)的幾種解決方法。
今天是第一篇，后面會陸續(xù)更新。
首先最容易的是while true死循環(huán)掛起，上代碼
import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
# 設(shè)置啟動周期
Second_update_time = 24 * 60 * 60
# 當(dāng)前時間
now_Time = datetime.now()
# 設(shè)置 任務(wù)啟動時間
plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)
# 設(shè)置差值，-1 day, 21:48:53.246576，類似于這樣
# time.sleep()需要傳入int，所以下面使用.total_seconds()
# 主要用來計算差值，返回int，具體功能可以自行查閱相關(guān)資料
delta = plan_Time - now_Time
first_plan_Time = delta.total_seconds() % Second_update_time
print("距離第一次執(zhí)行需要睡眠%d秒" % first_plan_Time)
return first_plan_Time
# while Ture代碼塊，掛起程序，睡眠時間結(jié)束后調(diào)用函數(shù)名進(jìn)行執(zhí)行
while True:
s1 = One_Plan()
time.sleep(s1)
# 下面這里是自己定義的函數(shù)，想跑代碼的可以換成hellow world函數(shù)或者注釋掉這行測試下
exe_file(D_list)
print("正在執(zhí)行首次更新程序")
個人感覺使用這種方式進(jìn)行定時計劃的啟動如果為單個程序，并且一天執(zhí)行一次的話沒什么問題，如果要考慮到一天執(zhí)行多個任務(wù)并且一天需要執(zhí)行多次，短板一下就凸顯出來了，
在工作的情況中還需要考慮到很多因素，比如爬蟲程序需要在晚上12點(diǎn)和早上6點(diǎn)，9點(diǎn)，下午3點(diǎn)執(zhí)行四次，并且需要同時執(zhí)行4個爬蟲，還需要考慮到網(wǎng)絡(luò)是否穩(wěn)定，如果程序掛掉該怎么處理等等因素
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Django如何繼承AbstractUser擴(kuò)展字段
這篇文章主要介紹了Django如何繼承AbstractUser擴(kuò)展字段,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了python打開文件并獲取文件相關(guān)屬性的方法,涉及Python操作文件的相關(guān)技巧,需要的朋友可以參考下2015-04-04
asyncio 是用來編寫 并發(fā) 代碼的庫，使用 async/await 語法。 asyncio 被用作多個提供高性能 Python 異步框架的基礎(chǔ)，包括網(wǎng)絡(luò)和網(wǎng)站服務(wù)，數(shù)據(jù)庫連接庫，分布式任務(wù)隊列等等。這篇文章主要介紹了Python中的asyncio,需要的朋友可以參考下2019-06-06
基于python3 類的屬性、方法、封裝、繼承實(shí)例講解
下面小編就為大家?guī)硪黄趐ython3 類的屬性、方法、封裝、繼承實(shí)例講解。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-09-09
這篇文章主要介紹了python 字典操作提取key,value的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
這篇文章主要介紹了matplotlib 三維圖表繪制方法簡介，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作
這篇文章主要介紹了python多線程實(shí)現(xiàn)同時執(zhí)行兩個while循環(huán)的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
今天小編就為大家分享一篇淺談dataframe中更改列屬性的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了Python語言中的if語句詳情，每條if語句的核心都是一個值為True或False的表達(dá)式，這種表達(dá)式被稱為條件測試，下面文章介紹python語言的if語句詳細(xì)內(nèi)容，需要的小伙伴可以參考一下2022-02-02
Python如何將list中的string轉(zhuǎn)換為int
這篇文章主要介紹了Python如何將list中的string轉(zhuǎn)換為int，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-07-07