python實(shí)現(xiàn)apahce網(wǎng)站日志分析示例
維護(hù)腳本一例,寫得有點(diǎn)亂,只是作為一個實(shí)例,演示如何快速利用工具快速達(dá)到目的:
應(yīng)用到:shell與python數(shù)據(jù)交互、數(shù)據(jù)抓取,編碼轉(zhuǎn)換
#coding:utf-8
#!/usr/bin/python
'''
程序說明:apache access.log日志分析
分析訪問網(wǎng)站IP 來源情況
日期:2014-01-06 17:01
author:gyh9711
程序說明:應(yīng)用到:shell與python數(shù)據(jù)交互、數(shù)據(jù)抓取,編碼轉(zhuǎn)換
'''
import os
import json
import httplib
import codecs
LogFile='/var/log/apache2/access.log'
#日志
logMess='/tmp/acc.log'
if os.path.isfile(logMess):
os.system('cp /dev/null %s'% logMess)
file=codecs.open(logMess,'w+',encoding='utf-8')
def cmd(cmd):
return os.popen(cmd).readlines()
'''
def getIp(ip):
return json.loads(os.popen("/usr/bin/curl http://ip.taobao.com/service/getIpInfo.php?ip=%s" % ip).readline())['data']
'''
conn = httplib.HTTPConnection('ip.taobao.com')
def getIpCountry(ip):
conn.request('GET','/service/getIpInfo.php?ip=%s' % ip)
r1=conn.getresponse()
if r1.status == 200:
return json.loads(r1.read())['data']
else:
return "Error"
#將access.log文件進(jìn)行分析,并轉(zhuǎn)為python數(shù)組
file.write(u"字段說明:ip 訪問次數(shù)據(jù) ip國家 城市的 isp號 省份 所在地區(qū)\n")
ipDb=[]
for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % LogFile):
ip = i.strip().split(' ')
ipDb.append(ip)
#通過taobao 提供接口分析ip地址來源
for i in ipDb:
_tmpD=getIpCountry(i[1])
#格式說明:ip 訪問次數(shù)據(jù) ip國家 城市的 isp號 省份 所在地區(qū)
out="%s%s%s%s%s%s%s"%(i[1].ljust(20),i[0].ljust(10),_tmpD['country'].ljust(20),_tmpD['city'].ljust(16),_tmpD['isp_id'].ljust(16),_tmpD['region'].ljust(16),_tmpD['area'].ljust(16))
print out
file.write("%s\n"%out)
conn.close()
file.close()
'''
'''
- Python操作Access數(shù)據(jù)庫基本步驟分析
- Python 分析Nginx訪問日志并保存到MySQL數(shù)據(jù)庫實(shí)例
- 使用python分析git log日志示例
- python自動化工具日志查詢分析腳本代碼實(shí)現(xiàn)
- python寫的一個squid訪問日志分析的小程序
- python分析apache訪問日志腳本分享
- python腳本實(shí)現(xiàn)分析dns日志并對受訪域名排行
- python實(shí)現(xiàn)分析apache和nginx日志文件并輸出訪客ip列表的方法
- python分析nignx訪問日志腳本分享
- 利用python分析access日志的方法
相關(guān)文章
python爬取分析超級大樂透歷史開獎數(shù)據(jù)
這篇文章主要介紹了python爬取分析超級大樂透歷史開獎數(shù)據(jù),本次使用了requests和beautifulsoup庫進(jìn)行數(shù)據(jù)的爬取,通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-02-02
深入解析python項(xiàng)目引用運(yùn)行路徑
這篇文章主要介紹了python項(xiàng)目引用運(yùn)行路徑的問題,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2023-05-05
Python代碼一鍵轉(zhuǎn)Jar包及Java調(diào)用Python新姿勢
這篇文章主要介紹了Python一鍵轉(zhuǎn)Jar包,Java調(diào)用Python新姿勢,本文通過截圖實(shí)例給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-03-03
Python保存環(huán)境方式(導(dǎo)出requirements.txt文件)
這篇文章主要介紹了Python保存環(huán)境方式(導(dǎo)出requirements.txt文件),具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2025-04-04
Python提取Linux內(nèi)核源代碼的目錄結(jié)構(gòu)實(shí)現(xiàn)方法
下面小編就為大家?guī)硪黄狿ython提取Linux內(nèi)核源代碼的目錄結(jié)構(gòu)實(shí)現(xiàn)方法。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2016-06-06

