快捷導(dǎo)航

Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法

更新時(shí)間：2015年04月08日 10:14:15 作者：pythoner

這篇文章主要介紹了Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法,實(shí)例分析了打印scrapy蜘蛛抓取樹結(jié)構(gòu)的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了Python打印scrapy蜘蛛抓取樹結(jié)構(gòu)的方法。分享給大家供大家參考。具體如下：

通過下面這段代碼可以一目了然的知道scrapy的抓取頁面結(jié)構(gòu)，調(diào)用也非常簡單

#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
  urls = allurls[referer]
  for url in urls:
    print ' '*indent + referer
    if url in allurls:
      print_urls(allurls, url, indent+2)
def main():
  log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
  allurls = defaultdict(list)
  for l in fileinput.input():
    m = log_re.search(l)
    if m:
      url, ref = m.groups()
      allurls[ref] += [url]
  print_urls(allurls, 'None')
main()

希望本文所述對大家的Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

解決pycharm下pyuic工具使用的問題
這篇文章主要介紹了解決pycharm下pyuic工具使用的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
恢復(fù)百度云盤本地誤刪的文件腳本(簡單方法)
下面小編就為大家?guī)硪黄謴?fù)百度云盤本地誤刪的文件腳本(簡單方法)。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2017-10-10
Django添加feeds功能的示例
這篇文章主要介紹了Django添加feeds功能的示例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2018-08-08
Python實(shí)現(xiàn)自動收集參數(shù)的技巧分享
在Python中,充分利用函數(shù)參數(shù)的自動收集和靈活處理,是寫出高效且易維護(hù)代碼的關(guān)鍵之一,本文將深入研究Python函數(shù)參數(shù)的收集方式,感興趣的小伙伴可以了解下
2023-12-12
Pyqt5設(shè)置返回鍵和跳轉(zhuǎn)頁面鍵的示例代碼
這篇文章主要介紹了Pyqt5設(shè)置返回鍵和跳轉(zhuǎn)頁面鍵的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-04-04
Python中super()的理解以及應(yīng)用場景實(shí)例
在python中關(guān)于類的定義可以分為兩種:老式類&新式類,在新式類中有這么一種方法super( ),下面這篇文章主要給大家介紹了關(guān)于Python中super()的理解以及應(yīng)用場景的相關(guān)資料,需要的朋友可以參考下
2021-09-09
python3寫的簡單本地文件上傳服務(wù)器實(shí)例
今天小編就為大家分享一篇python3寫的簡單本地文件上傳服務(wù)器實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
selenium+python自動化測試之鼠標(biāo)和鍵盤事件
這篇文章主要介紹了selenium+python自動化測試之鼠標(biāo)和鍵盤事件，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2019-01-01
python Crypto模塊的安裝與使用方法
本篇文章主要介紹了python Crypto模塊的安裝與使用方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2017-12-12
python提取word文件中的圖片并上傳阿里云OSS
這篇文章主要介紹了通過Python提取Word文件中的所有圖片，并將其上傳至阿里云OSS。文中的示例代碼對學(xué)習(xí)Python有一定的幫助，快跟隨小編一起學(xué)習(xí)一下吧
2021-12-12