詳解python3百度指數(shù)抓取實例

更新時間：2016年12月12日 11:05:14 作者：TTyb

本篇文章主要介紹了python3百度指數(shù)抓取，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧。

百度指數(shù)抓取，再用圖像識別得到指數(shù)

前言：

土福曾說，百度指數(shù)很難抓，在淘寶上面是20塊1個關鍵字：

哥那么叼的人怎么會被他嚇到，于是乎花了零零碎碎加起來大約2天半搞定，在此鄙視一下土福

安裝的庫很多：

谷歌圖像識別tesseract-ocr

pip3 install pillow

pip3 install pyocr

selenium2.45

Chrome47.0.2526.106 m or Firebox32.0.1

chromedriver.exe

圖像識別驗證碼請參考:http://www.fzitv.net/article/92287.htm

selenium用法請參考：http://www.fzitv.net/article/52329.htm

進入百度指數(shù)需要登陸，登陸的賬號密碼寫在文本account里面：

萬能登陸代碼如下：

# 打開瀏覽器
def openbrowser():
  global browser

  # https://passport.baidu.com/v2/?login
  url = "https://passport.baidu.com/v2/?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2F"
  # 打開谷歌瀏覽器
  # Firefox()
  # Chrome()
  browser = webdriver.Chrome()
  # 輸入網(wǎng)址
  browser.get(url)
  # 打開瀏覽器時間
  # print("等待10秒打開瀏覽器...")
  # time.sleep(10)

  # 找到id="TANGRAM__PSP_3__userName"的對話框
  # 清空輸入框
  browser.find_element_by_id("TANGRAM__PSP_3__userName").clear()
  browser.find_element_by_id("TANGRAM__PSP_3__password").clear()

  # 輸入賬號密碼
  # 輸入賬號密碼
  account = []
  try:
    fileaccount = open("../baidu/account.txt")
    accounts = fileaccount.readlines()
    for acc in accounts:
      account.append(acc.strip())
    fileaccount.close()
  except Exception as err:
    print(err)
    input("請正確在account.txt里面寫入賬號密碼")
    exit()
  browser.find_element_by_id("TANGRAM__PSP_3__userName").send_keys(account[0])
  browser.find_element_by_id("TANGRAM__PSP_3__password").send_keys(account[1])

  # 點擊登陸登陸
  # id="TANGRAM__PSP_3__submit"
  browser.find_element_by_id("TANGRAM__PSP_3__submit").click()

  # 等待登陸10秒
  # print('等待登陸10秒...')
  # time.sleep(10)
  print("等待網(wǎng)址加載完畢...")

  select = input("請觀察瀏覽器網(wǎng)站是否已經登陸(y/n)：")
  while 1:
    if select == "y" or select == "Y":
      print("登陸成功！")
      print("準備打開新的窗口...")
      # time.sleep(1)
      # browser.quit()
      break

    elif select == "n" or select == "N":
      selectno = input("賬號密碼錯誤請按0，驗證碼出現(xiàn)請按1...")
      # 賬號密碼錯誤則重新輸入
      if selectno == "0":

        # 找到id="TANGRAM__PSP_3__userName"的對話框
        # 清空輸入框
        browser.find_element_by_id("TANGRAM__PSP_3__userName").clear()
        browser.find_element_by_id("TANGRAM__PSP_3__password").clear()

        # 輸入賬號密碼
        account = []
        try:
          fileaccount = open("../baidu/account.txt")
          accounts = fileaccount.readlines()
          for acc in accounts:
            account.append(acc.strip())
          fileaccount.close()
        except Exception as err:
          print(err)
          input("請正確在account.txt里面寫入賬號密碼")
          exit()

        browser.find_element_by_id("TANGRAM__PSP_3__userName").send_keys(account[0])
        browser.find_element_by_id("TANGRAM__PSP_3__password").send_keys(account[1])
        # 點擊登陸sign in
        # id="TANGRAM__PSP_3__submit"
        browser.find_element_by_id("TANGRAM__PSP_3__submit").click()

      elif selectno == "1":
        # 驗證碼的id為id="ap_captcha_guess"的對話框
        input("請在瀏覽器中輸入驗證碼并登陸...")
        select = input("請觀察瀏覽器網(wǎng)站是否已經登陸(y/n)：")

    else:
      print("請輸入“y”或者“n”！")
      select = input("請觀察瀏覽器網(wǎng)站是否已經登陸(y/n)：")

登陸的頁面：

登陸過后需要打開新的窗口，也就是打開百度指數(shù)，并且切換窗口，在selenium用：

# 新開一個窗口，通過執(zhí)行js來新開一個窗口
js = 'window.open("http://index.baidu.com");'
browser.execute_script(js)
# 新窗口句柄切換，進入百度指數(shù)
# 獲得當前打開所有窗口的句柄handles
# handles為一個數(shù)組
handles = browser.window_handles
# print(handles)
# 切換到當前最新打開的窗口
browser.switch_to_window(handles[-1])

清空輸入框，構造點擊天數(shù)：

# 清空輸入框
browser.find_element_by_id("schword").clear()
# 寫入需要搜索的百度指數(shù)
browser.find_element_by_id("schword").send_keys(keyword)
# 點擊搜索
# <input type="submit" value="" id="searchWords" onclick="searchDemoWords()">
browser.find_element_by_id("searchWords").click()
time.sleep(2)
# 最大化窗口
browser.maximize_window()
# 構造天數(shù)
sel = int(input("查詢7天請按0，30天請按1，90天請按2，半年請按3："))
day = 0
if sel == 0:
  day = 7
elif sel == 1:
  day = 30
elif sel == 2:
  day = 90
elif sel == 3:
  day = 180
sel = '//a[@rel="' + str(day) + '"]'
browser.find_element_by_xpath(sel).click()
# 太快了
time.sleep(2)

天數(shù)也就是這里：

找到圖形框：

xoyelement = browser.find_elements_by_css_selector("#trend rect")[2]

圖形框就是：

根據(jù)坐標點的不同構造偏移量：

選取7天的坐標來觀察：

第一個點的橫坐標為1031.66666

第二個點的橫坐標為1234

所以7天兩個坐標之間的差為：202.33，其他的天數(shù)類似

用selenium庫來模擬鼠標滑動懸?。?br />

from selenium.webdriver.common.action_chains import ActionChains
ActionChains(browser).move_to_element_with_offset(xoyelement,x_0,y_0).perform()

但是這樣子確定的點指出是在這個位置：

也就是矩形的左上角，這里是不會加載js顯示彈出框的，所以要給橫坐標+1：

x_0 = 1
y_0 = 0

寫個按照天數(shù)的循環(huán)，讓橫坐標累加：

# 按照選擇的天數(shù)循環(huán)
for i in range(day):
  # 構造規(guī)則
  if day == 7:
    x_0 = x_0 + 202.33
  elif day == 30:
    x_0 = x_0 + 41.68
  elif day == 90:
    x_0 = x_0 + 13.64
  elif day == 180:
    x_0 = x_0 + 6.78

鼠標橫移時會彈出框，在網(wǎng)址里面找到這個框：

selenium自動識別之...：

# <div class="imgtxt" style="margin-left:-117px;"></div>
imgelement = browser.find_element_by_xpath('//div[@id="viewbox"]')

并且確定這個框的大小位置：

# 找到圖片坐標
locations = imgelement.location
print(locations)
# 找到圖片大小
sizes = imgelement.size
print(sizes)
# 構造指數(shù)的位置
rangle = (int(locations['x']), int(locations['y']), int(locations['x'] + sizes['width']),
     int(locations['y'] + sizes['height']))

截取的圖形為：

下面的思路就是：

1.將整個屏幕截圖下來

2.打開截圖用上面得到的這個坐標rangle進行裁剪

但是最后裁剪出來的是上面的那個黑框，我想要的效果是：

所以要對rangle進行計算，但是我懶，忽略了搜索詞的長度，直接暴力的寫成：

# 構造指數(shù)的位置
rangle = (int(locations['x'] + sizes['width']/3), int(locations['y'] + sizes['height']/2), int(locations['x'] + sizes['width']*2/3),
     int(locations['y'] + sizes['height']))

這個寫法最終不太好，最起碼要對keyword的長度進行判斷，長度過長會導致截圖坐標出現(xiàn)偏差，反正我知道怎么做，就是不寫出來給你們看！

后面的完整代碼是：

# <div class="imgtxt" style="margin-left:-117px;"></div>
imgelement = browser.find_element_by_xpath('//div[@id="viewbox"]')
# 找到圖片坐標
locations = imgelement.location
print(locations)
# 找到圖片大小
sizes = imgelement.size
print(sizes)
# 構造指數(shù)的位置
rangle = (int(locations['x'] + sizes['width']/3), int(locations['y'] + sizes['height']/2), int(locations['x'] + sizes['width']*2/3),
     int(locations['y'] + sizes['height']))
# 截取當前瀏覽器
path = "../baidu/" + str(num)
browser.save_screenshot(str(path) + ".png")
# 打開截圖切割
img = Image.open(str(path) + ".png")
jpg = img.crop(rangle)
jpg.save(str(path) + ".jpg")

但是后面發(fā)現(xiàn)裁剪的圖片太小，識別精度太低，所以需要對圖片進行擴大：

# 將圖片放大一倍
# 原圖大小73.29
jpgzoom = Image.open(str(path) + ".jpg")
(x, y) = jpgzoom.size
x_s = 146
y_s = 58
out = jpgzoom.resize((x_s, y_s), Image.ANTIALIAS)
out.save(path + 'zoom.jpg', 'png', quality=95)

原圖大小請右鍵->屬性->詳細信息查看，我的是長73像素，寬29像素

最后就是圖像識別

# 圖像識別
index = []
image = Image.open(str(path) + "zoom.jpg")
code = pytesseract.image_to_string(image)
if code:
  index.append(code)

最后效果圖：

源碼下載：demo

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

Python連接Oracle數(shù)據(jù)庫的操作指南
Oracle數(shù)據(jù)庫是一種強大的企業(yè)級關系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）,而Python是一門流行的編程語言,兩者的結合可以提供出色的數(shù)據(jù)管理和分析能力,本教程將詳細介紹如何在Python中連接Oracle數(shù)據(jù)庫,并演示常見的數(shù)據(jù)庫任務,需要的朋友可以參考下
2023-11-11
Python對象轉換為json的方法步驟
這篇文章主要介紹了Python對象轉換為json的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-04-04
Python 自動化處理Excel和Word實現(xiàn)自動辦公
毫無疑問，Microsoft Excel 和 Word 是我們日常辦公中使用最廣泛的辦公軟件。將反復、復雜的工作自動化處理，是我們需要思考的問題，本篇文章幫你解決這個問題
2021-11-11
淺析Python中嵌套字典的訪問與操作
在Python編程中,嵌套字典是一種常見的數(shù)據(jù)結構,它可以以層次結構的方式組織和存儲數(shù)據(jù),本文將詳細介紹如何在Python中訪問和操作嵌套字典,需要的可以參考下
2024-02-02
python類和繼承用法實例
這篇文章主要介紹了python類和繼承用法,實例分析了Python類的定義與繼承的實現(xiàn)技巧,具有一定參考借鑒價值,需要的朋友可以參考下
2015-07-07
Python實現(xiàn)過迷宮小游戲示例詳解
這篇文章主要介紹的是基于Python實現(xiàn)一個簡單的過迷宮小游戲，文中的示例代碼講解詳細，對我們學習Python有一定的幫助，感興趣的可以學習一下
2021-12-12
Python中列表與元組的乘法操作示例
這篇文章主要介紹了Python中列表與元組的乘法操作,結合簡單實例形式分析了Python中列表、元組的乘法,并附帶分析了字符串的乘法及元組乘法操作的注意事項,需要的朋友可以參考下
2018-02-02
python編程測試電腦開啟最大線程數(shù)實例代碼
這篇文章主要介紹了python編程測試電腦開啟最大線程數(shù)實例代碼，分享了相關代碼示例，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下
2018-02-02
python 匿名函數(shù)與三元運算學習筆記
這篇文章主要介紹了python 匿名函數(shù)與三元運算的相關資料，幫助大家更好的理解和學習python 編程，感興趣的朋友可以了解下
2020-10-10
python_tkinter彈出對話框創(chuàng)建
這篇文章主要介紹了python_tkinter彈出對話框實現(xiàn),tkinter提供了三個模塊，可以創(chuàng)建彈出對話窗口，下面詳細介紹，需要的小伙伴可以參考一下，希望對你的學習有所幫助
2022-03-03