1.前言

在移動(dòng)商業(yè)廣告的測試的工作中，經(jīng)常會需要對廣告請求進(jìn)行捕獲和分析，常使用的有兩個(gè)測試工具：fiddler,Charles,這兩個(gè)工具都可以對廣告請求進(jìn)行抓包，斷點(diǎn)調(diào)試，請求替換，構(gòu)造請求等，但是這兩個(gè)工具都有一定的局限性。首先，fiddler 只能在 windows 上運(yùn)行，charles 雖然可以在 mac,windows 上運(yùn)行，但是收費(fèi)。其次，在商業(yè)廣告請求中經(jīng)常會對接口協(xié)議進(jìn)行加密處理，使用 fiddler 和 charles 就不容易解決了。最后，商業(yè)廣告測試中需要對廣告請求協(xié)議的各種字段進(jìn)行校驗(yàn)，但業(yè)務(wù)涉及到多字段修改的情況下，再利用 fiddler 和 charles 逐一校驗(yàn)判斷顯然很浪費(fèi)時(shí)間。經(jīng)過調(diào)研和實(shí)際應(yīng)用，我們發(fā)現(xiàn) mitmproxy 這個(gè)工具非常靈活，它是基于 Python 開發(fā)的開源工具，提供了 Python API，可以通過載入自定義 python 腳本輕松控制請求和響應(yīng)。這是其它工具所不能做到的，通過自定義腳本進(jìn)行二次開發(fā)，能夠解決商業(yè)廣告測試過程中所遇到的問題。

2.Mitmproxy 簡介

MITM（Man In The Middle Attack）中間人攻擊，這種攻擊模式是通過各種技術(shù)手段將受入侵者控制的一臺計(jì)算機(jī)虛擬放置在網(wǎng)絡(luò)連接中的兩臺通信計(jì)算機(jī)之間，這臺計(jì)算機(jī)就稱為 “中間人”。mitmproxy 就是用于 MITM 的 proxy，用于中間人攻擊的代理。首先會向正常的代理一樣轉(zhuǎn)發(fā)請求，保障服務(wù)端與客戶端的通信，其次，會適時(shí)的查、記錄其截獲的數(shù)據(jù)，或篡改數(shù)據(jù)，引發(fā)服務(wù)端或客戶端特定的行為。

mitmproxy 有兩個(gè)關(guān)聯(lián)組件。一個(gè)是 mitmdump，它是 mitmproxy 的命令行接口，利用它我們可以對接 Python 腳本，用 Python 實(shí)現(xiàn)監(jiān)聽后的處理邏輯。另一個(gè)是 mitmweb，它是一個(gè) Web 程序，通過它我們可以清楚觀察 mitmproxy 捕獲的請求。

3.Mitmproxy 工作原理

mitmproxy 有 5 種代理模式，主要包含：正向代理，透明代理，反向代理，上游代理，socks 代理，在實(shí)際使用中經(jīng)常用到正向代理，mitmproxy 作為正向代理是一個(gè)位于客戶端和原始服務(wù)器 (origin server) 之間的服務(wù)器，為了從原始服務(wù)器取得內(nèi)容，客戶端向 mitmproxy 代理發(fā)送一個(gè)請求并指定目標(biāo) (原始服務(wù)器)，然后代理向原始服務(wù)器轉(zhuǎn)交請求并將獲得的內(nèi)容返回給客戶端?？蛻舳吮仨氁M(jìn)行一些特別的設(shè)置才能使用正向代理。

我們以 HTTPS 請求為例介紹一下 mitmproxy 作為正向代理抓包的過程：

①. 客戶端連接到 mitmproxy，并發(fā)出 HTTP 連接請求。

②. mitmproxy 響應(yīng)建立了一個(gè) 200 的連接

③. 客戶端認(rèn)為它正在與遠(yuǎn)程服務(wù)器通信，并啟動(dòng) SSL 連接。使用 SNI 來指定它連接到的主機(jī)名。

④. mitmproxy 使用客戶端指定的 SNI 主機(jī)名與服務(wù)端建立一個(gè) SSL/TLS 連接。

⑤. 服務(wù)器使用匹配的證書進(jìn)行響應(yīng)，該證書包含生成攔截證書所需的 CN 和 SAN 值。

⑥. mitmproxy 生成攔截證書，并繼續(xù)跟客戶端 SSL/TLS 握手。

⑦. 客戶端通過已建立的 SSL/TLS 連接發(fā)送請求。

⑧. mitmproxy 通過步驟 ④ 中啟動(dòng)的 SSL/TLS 連接將請求傳遞到服務(wù)器。

4.實(shí)踐應(yīng)用

解決多字段校驗(yàn)效率問題：

商業(yè)廣告測試中有大量的重復(fù)性工作在打點(diǎn)校驗(yàn)上，為了節(jié)省測試時(shí)間和解決易漏測的問題，我們可以利用 mitmproxy 二次開發(fā)，自定義業(yè)務(wù)相關(guān)的校驗(yàn)規(guī)則，然后通過捕獲請求對協(xié)議中的各個(gè)字段進(jìn)行自動(dòng)化校驗(yàn)，這樣既可以提高測試效率，又避免了漏測問題。

以所測廣告業(yè)務(wù)為例，首先建立 addons.py 文件，addons 是個(gè)列表，每個(gè)元素是一個(gè)類實(shí)例，這些類，稱為一個(gè)個(gè) addon,這些類有若干方法，這些方法實(shí)現(xiàn)了某些 mitmproxy 提供的事件，mitmproxy 會在某個(gè)事件發(fā)生時(shí)調(diào)用對應(yīng)的方法。如下圖所示為 addons 文件內(nèi)容，其中 SemiNativeCSJAd 則為 addon。

SemiNativeCSJAd 類中實(shí)現(xiàn)了 mitmproxy 提供的 request 和 response 事件，當(dāng)觸發(fā)該事件的時(shí)候，就會調(diào)用對應(yīng)的方法。

其中將所有類型的廣告打點(diǎn)中的公共字段校驗(yàn)抽取成公共方法 semiNativeCSJfieldCheck 調(diào)用。如下圖所示：

通過以上方式，簡單且有效的解決了多個(gè)字段校驗(yàn)問題。

解決商業(yè)廣告中加解密問題：

商業(yè)廣告有不同的渲染形態(tài)，例如：激勵(lì)視頻類，模板類，在實(shí)際測試過程中，需要測試人員 mock 不同的廣告進(jìn)行測試，不僅如此，還會遇到需要對廣告進(jìn)行加解密的情況，那么具體應(yīng)該怎么解決呢？以所測的廣告業(yè)務(wù)為例需要做以下幾個(gè)步驟：

①. mitmproxy 攔截客戶端發(fā)起的請求并獲取某字段

②. 利用 RSA 算法根據(jù)請求的某字段解密獲取到秘鑰

③. 利用 AES 算法和 ② 步驟的秘鑰，對本地廣告內(nèi)容進(jìn)行加密

④. mitmproxy 將加密的廣告返回給客戶端

如下圖是實(shí)現(xiàn)的代碼，此 mockMaxFile 函數(shù)還可以根據(jù)入?yún)魅氩煌瑥V告文件即可實(shí)現(xiàn)不同廣告的 mock。

5.總結(jié)

以上就是 mitmproxy 的簡單介紹和在商業(yè)廣告測試中的應(yīng)用，相比傳統(tǒng)的抓包工具，mitmproxy 可以通過載入自定義 python 腳本輕松實(shí)現(xiàn)各種定制化需求，提升測試效率和質(zhì)量，不愧為 “抓包神器”。

更多關(guān)于移動(dòng)測試Mitmproxy抓包的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論