最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python爬蟲的一個(gè)常見簡(jiǎn)單js反爬詳解

 更新時(shí)間:2019年07月09日 09:46:52   作者:dragon-brother  
這篇文章主要介紹了python爬蟲的一個(gè)常見簡(jiǎn)單js反爬詳解我們?cè)趯懪老x是遇到最多的應(yīng)該就是js反爬了,今天分享一個(gè)比較常見的js反爬,我把js反爬分為參數(shù)由js加密生成和js生成cookie等來(lái)操作瀏覽器這兩部分,需要的朋友可以參考下

前言

我們?cè)趯懪老x是遇到最多的應(yīng)該就是js反爬了,今天分享一個(gè)比較常見的js反爬,這個(gè)我已經(jīng)在多個(gè)網(wǎng)站上見到過了。

我把js反爬分為參數(shù)由js加密生成和js生成cookie等來(lái)操作瀏覽器這兩部分,今天說的是第二種情況。

目標(biāo)網(wǎng)站

列表頁(yè)url:  http://www.hnrexian.com/archives/category/jk。

正常網(wǎng)站我們請(qǐng)求url會(huì)返回給我們網(wǎng)頁(yè)數(shù)據(jù)內(nèi)容等,看看這個(gè)網(wǎng)站返回給我們的是什么呢?

我們把相應(yīng)中返回的js代碼格式化一下,方便查看。

< script type = "text/javascript" >
function stringToHex(str) {
  var val = "";
  for (var i = 0; i < str.length; i++) {
    if (val == "") val = str.charCodeAt(i).toString(16);
    else val += str.charCodeAt(i).toString(16);
  }
  return val;
}
function YunSuoAutoJump() {
  var width = screen.width;
  var height = screen.height;
  var screendate = width + "," + height;
  var curlocation = window.location.href;
  if ( - 1 == curlocation.indexOf("security_verify_")) {
    document.cookie = "srcurl=" + stringToHex(window.location.href) + ";path=/;";
  }
  self.location = "/archives/category/jk?security_verify_data=" + stringToHex(screendate);
} < /script>
 <script>setTimeout("YunSuoAutoJump()", 50);</script > 

說好的返回網(wǎng)頁(yè)數(shù)據(jù)源碼呢,這是什么東西!

js破解思路

js破解提供兩種思路,一種是直接用Python來(lái)重寫js內(nèi)容,實(shí)現(xiàn)模擬js的操作,這種一般用于比較簡(jiǎn)單的js;還有一種是用Python第三方庫(kù)來(lái)解析js,比如pyv8,execjs這些(個(gè)人覺得execjs比較好用),這種一般用于比較復(fù)雜的js解析。

分析返回的js分成兩個(gè)部分。第一部分,定義了stringToHex和YunSuoAutoJump兩個(gè)函數(shù)。第二部分,50毫秒后執(zhí)行YunSuoAutoJump這個(gè)函數(shù)。

YunSuoAutoJump這個(gè)函數(shù)功能是添加一個(gè)cookie并去請(qǐng)求一個(gè)構(gòu)造的url,可以從document.cookie 和 self.location這里看出。stringToHex這個(gè)函數(shù)的共能其實(shí)就是字符串的轉(zhuǎn)換,具體js內(nèi)容可以參考這個(gè)網(wǎng)址https://www.runoob.com/js/js-tutorial.html自行查找。

python重寫代碼

那么接下來(lái)就是用python來(lái)重寫js啦,重寫后代碼如下。

def stringToHex(string):
  length = len(string)
  hex_string = str()
  for i in xrange(length):
    hex_string += hex(ord(string[i]))[2:]
  return hex_string

def get_cookie(url):
  hex_string = stringToHex(url)
  cookie = {"srcurl": hex_string, "path": "/"}
  return cookie

這是那兩個(gè)函數(shù),一個(gè)用于字符串轉(zhuǎn)換,一個(gè)用于獲取cookie。

最后拿到結(jié)果

接下來(lái)模擬瀏覽器操作,其中是分為三部分。第一次,我們請(qǐng)求目標(biāo)url,然后返回給我們js內(nèi)容;第二次,js添加1個(gè)cookie并請(qǐng)求了1個(gè)構(gòu)造出的url;第三次請(qǐng)求原目標(biāo)url,得到最終的數(shù)據(jù)。

這里我們用requests.Session來(lái)保持連接,模擬上面三部的內(nèi)容。

url = "http://www.hnrexian.com/archives/category/jk"
s = requests.Session()
r = s.get(url)
url_2 = re.compile("self\.location\s*=\s*\"(.*?)\"").findall(r.text)[0]
screen_date = "1920,1080"
url_2 = url_2 + stringToHex(screen_date)
url_2 = urljoin(url, url_2)
cookie = get_cookie(url)
s.cookies.update(cookie)
r2 = s.get(url_2)
url3 = re.compile("self\.location\s*=\s*\"(.*?)\"").findall(r2.text)[0]
r3 = s.get(url3)
r3.encoding = "gbk"
print r3.text

到這里我們就完美得到最后想要的內(nèi)容了。

以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • python opencv 實(shí)現(xiàn)讀取、顯示、寫入圖像的方法

    python opencv 實(shí)現(xiàn)讀取、顯示、寫入圖像的方法

    這篇文章主要介紹了python opencv 實(shí)現(xiàn)讀取、顯示、寫入圖像的方法,本文通示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-06-06
  • pandas DataFrame行或列的刪除方法的實(shí)現(xiàn)示例

    pandas DataFrame行或列的刪除方法的實(shí)現(xiàn)示例

    這篇文章主要介紹了pandas DataFrame行或列的刪除方法的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • Python入門教程之變量與數(shù)據(jù)類型

    Python入門教程之變量與數(shù)據(jù)類型

    這篇文章主要介紹了Python入門教程之變量與數(shù)據(jù)類型的相關(guān)知識(shí),文中給大家提到了變量的基本概念和數(shù)據(jù)類型的相關(guān)實(shí)例代碼,需要的朋友可以參考下
    2022-02-02
  • Python configparser模塊應(yīng)用過程解析

    Python configparser模塊應(yīng)用過程解析

    這篇文章主要介紹了Python configparser模塊應(yīng)用過程解析,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-08-08
  • python發(fā)送偽造的arp請(qǐng)求

    python發(fā)送偽造的arp請(qǐng)求

    本文介紹了python發(fā)送偽造的arp請(qǐng)求的示例代碼,大家參考使用吧
    2014-01-01
  • Python安裝及建立虛擬環(huán)境的完整步驟

    Python安裝及建立虛擬環(huán)境的完整步驟

    在使用 Python 開發(fā)時(shí),建議在開發(fā)環(huán)境和生產(chǎn)環(huán)境下都使用虛擬環(huán)境來(lái)管理項(xiàng)目的依賴,下面這篇文章主要給大家介紹了關(guān)于Python安裝及建立虛擬環(huán)境的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2022-06-06
  • Python腳本實(shí)現(xiàn)自動(dòng)刪除C盤臨時(shí)文件夾

    Python腳本實(shí)現(xiàn)自動(dòng)刪除C盤臨時(shí)文件夾

    在日常使用電腦的過程中,臨時(shí)文件夾往往會(huì)積累大量的無(wú)用數(shù)據(jù),占用寶貴的磁盤空間,下面我們就來(lái)看看Python如何通過腳本實(shí)現(xiàn)自動(dòng)刪除C盤臨時(shí)文件夾吧
    2025-01-01
  • Python pandas讀取CSV文件的注意事項(xiàng)(適合新手)

    Python pandas讀取CSV文件的注意事項(xiàng)(適合新手)

    這篇文章主要給大家介紹了關(guān)于Python pandas讀取CSV文件的注意事項(xiàng),非常適合新手,csv是我接觸的比較早的一種文件,比較好的是這種文件既能夠以電子表格的形式查看又能夠以文本的形式查看,需要的朋友可以參考下
    2021-06-06
  • 如何利用Python實(shí)現(xiàn)簡(jiǎn)單C++程序范圍分析

    如何利用Python實(shí)現(xiàn)簡(jiǎn)單C++程序范圍分析

    這篇文章主要介紹了如何利用Python實(shí)現(xiàn)簡(jiǎn)單C++程序范圍分析,文章以舉例說明及過程實(shí)現(xiàn)思路的方式展開講解,具有一定的的參考價(jià)值,需要的小伙伴可以參考一下,希望對(duì)你有所幫助
    2022-02-02
  • Python實(shí)現(xiàn)讀取txt文件中的數(shù)據(jù)并繪制出圖形操作示例

    Python實(shí)現(xiàn)讀取txt文件中的數(shù)據(jù)并繪制出圖形操作示例

    這篇文章主要介紹了Python實(shí)現(xiàn)讀取txt文件中的數(shù)據(jù)并繪制出圖形操作,涉及Python文件讀取、數(shù)值運(yùn)算及基于pylab庫(kù)的圖形繪制相關(guān)操作技巧,需要的朋友可以參考下
    2019-02-02

最新評(píng)論

五指山市| 萨嘎县| 九龙城区| 天峨县| 临沂市| 普兰县| 常州市| 海安县| 诏安县| 马关县| 莱阳市| 封开县| 桂阳县| 嘉黎县| 延川县| 庄浪县| 寿光市| 庆阳市| 砚山县| 开封县| 高陵县| 阳谷县| 南郑县| 兴海县| 巫溪县| 岫岩| 岳阳市| 称多县| 长泰县| 东山县| 南郑县| 定兴县| 敦化市| 巴林左旗| 大埔区| 徐水县| 大埔县| 元氏县| 禄劝| 资阳市| 林州市|