Shell日志分析常用命令和例子
學(xué)會(huì)用shell分析日志只要一上午！??！
很多地方分享了日志分析的shell腳本，但是基本沒(méi)說(shuō)每個(gè)命令符的具體含義，學(xué)習(xí)成本還是很高，在這里總結(jié)下，方便大家快速入門(mén)。
1、在Windows下的用戶要使用shell命令符的話請(qǐng)先安裝cygwin，安裝方法自行Google（搜技術(shù)問(wèn)題請(qǐng)使用google，百度搜不到活該）
2、下面粗略介紹下SEO日志分析常用的命令符用法，需要詳細(xì)了解每個(gè)命令符請(qǐng)使用Google。
less 文件名 查看文件內(nèi)容 按“q” 退出
cat 文件名 打開(kāi)文件，可以多次打開(kāi)幾個(gè)文件 | cat 1.log 2.log |cat *.cat
grep -參數(shù) 文件名
-i 不區(qū)分大小寫(xiě)
-v 顯示不符合條件的所有行
-c 顯示符合條件的所有行數(shù)（符合條件的數(shù)量）
egrep 屬于grep的升級(jí)版，在正則這一塊的支持更完善，使用正則的時(shí)候建議使用egrep
head -2 文件名 顯示2行
head -100 文件名 | tail -10 >>a.log 提取文件第91-100行數(shù)據(jù)
wc -參數(shù) 文件名 統(tǒng)計(jì)文本大小，字符多少，行數(shù)
-c 統(tǒng)計(jì)文本字節(jié)數(shù)
-m 統(tǒng)計(jì)文本字符數(shù)
-l 統(tǒng)計(jì)文本有多少行
sort – 參數(shù) 文件名 對(duì)文件進(jìn)行排序
-n 對(duì)文件按照數(shù)字排序
-r 反向排序
uniq -參數(shù) 文件名 對(duì)文件去重，去重前需要使用排序
sort
-c 顯示數(shù)據(jù)重復(fù)的次數(shù)
split -參數(shù) 文件名 對(duì)文件進(jìn)行切割
-100 （每100行切割成一個(gè)文件）
-C 25m/b/k (每25兆/字節(jié)/K 分割成一個(gè)文件)
| 管道，把上一條命令的結(jié)果傳輸給下一條命令
“>” 和“>> ” 重定向?qū)懭胛募?“>”相當(dāng)于“w”清空并寫(xiě)入 “>>”相當(dāng)于“a” 追加進(jìn)文件
awk -F ‘分割符' Pattern ｛action｝ 文件名 使用指定的字符對(duì)每一行數(shù)據(jù)進(jìn)行分段，默認(rèn)是空格（網(wǎng)站日志就是空格分開(kāi)）
-F后面跟的是分隔符
pattern 就是action執(zhí)行的條件，這里可以使用正則表達(dá)式
$n 即時(shí)第幾段數(shù)據(jù) $0表示整行數(shù)據(jù)
NF表示當(dāng)前記錄的字段數(shù)
$NF 表示最后一個(gè)字段
BEGIN和END，這兩者都可用于pattern中，提供BEGIN和END的作用是給程序賦予初始狀態(tài)和在程序結(jié)束之后執(zhí)行一些掃尾的工作
bash shell.sh 運(yùn)行shell.sh腳本
dos2unix xxoo.sh 將“\r\n”轉(zhuǎn)換成“\n” Windows——>linux （由于Windows和Linux下的換行符不同，所以我們?cè)赪indows下面下的代碼需要使用dos2unix 轉(zhuǎn)換成Linux下的換行符，否則運(yùn)行shell腳本會(huì)報(bào)錯(cuò)）
unix2dos xxoo.sh 將“\n”轉(zhuǎn)換成“\r\n” linux——>Windows
rm xx.txt 刪除xx.txt文件
3、一些簡(jiǎn)單的命令符介紹到這里，需要了解shell，建議大家查看相關(guān)的書(shū)籍.
下面我們開(kāi)始使用shell分析日志
1、切割百度的抓取數(shù)據(jù)（將文件切割出來(lái)對(duì)專(zhuān)門(mén)的爬蟲(chóng)數(shù)據(jù)進(jìn)行處理能提高效率）
cat log.log |grep -i ‘baiduspider' >baidu.log
2、網(wǎng)站狀態(tài)碼個(gè)數(shù)查詢
awk ‘{print $9}' baidu.log|sort|uniq -c|sort -nr
3、百度總抓取量
wc -l baidu.log
4、百度不重復(fù)抓取量
awk ‘{print $7}' baidu.log|sort|uniq|wc -l
5、百度平均每次抓取的數(shù)據(jù)大?。ńY(jié)果是KB）
awk ‘{print $10}' baidu.log|awk ‘BEGIN{a=0}{a+=$1}END{ print a/NR/1024}'
6、首頁(yè)抓取量
awk ‘$7~/\.com\/$/' baidu.log|wc -l
7、某目錄抓取量
grep ‘/news/' baidu.log|wc -l
8、抓取最多的10個(gè)頁(yè)面
awk ‘{print $7}' baidu.log|sort|uniq -c|sort -nr|head -10
9、找出抓取的404錯(cuò)誤頁(yè)面
awk ‘$9~ /^404$/ {print $7}' baidu.log|sort|uniq|sort -nr
10、找出抓取了多少js文件和文件抓取的次數(shù)
awk ‘$7~ /.js$/ {print $7}' baidu.log|sort|uniq -c |sort -nr
相關(guān)文章
Linux全網(wǎng)最全面常用命令整理(附實(shí)例)
這篇文章主要介紹了Linux命令，是目前最全面的集合，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-08-08
在Shell腳本中調(diào)用另一個(gè)腳本的三種方式講解
今天小編就為大家分享一篇關(guān)于在Shell腳本中調(diào)用另一個(gè)腳本的三種方式講解，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-04-04
shell編程之實(shí)現(xiàn)windows回收站功能分享
這篇文章主要介紹了使用trash命令替代linux rm命令實(shí)現(xiàn)windows回收站的功能,需要的朋友可以參考下2014-03-03
一天一個(gè)shell命令 linux文本操作系列-diff命令詳解
這篇文章主要介紹了一天一個(gè)shell命令 linux文本操作系列-diff命令詳解,需要的朋友可以參考下2016-06-06
如何實(shí)現(xiàn)ls命令在Win7下正常運(yùn)行
ls命令是Linux系統(tǒng)下最常用的命令之一，使用ls指令可列出目錄中的內(nèi)容，包括文件和子目錄的名稱(chēng)，下面通過(guò)本文給大家分享如何實(shí)現(xiàn)ls命令在Win7下正常運(yùn)行，需要的朋友參考下吧2018-03-03
Shell腳本實(shí)現(xiàn)服務(wù)器多臺(tái)免密登錄操作
本文介紹了auto_ssh_batch.sh腳本,用于在多臺(tái)RHEL/CentOS7主機(jī)之間快速配置SSH免密登錄,并支持遠(yuǎn)程傳輸腳本/文件及執(zhí)行命令,腳本通過(guò)pass文件提供統(tǒng)一認(rèn)證憑據(jù),nodes文件定義目標(biāo)主機(jī)列表,實(shí)現(xiàn)批量自動(dòng)化操作,感興趣的朋友一起看看吧2025-03-03
shell 基本計(jì)算、邏輯運(yùn)算、位運(yùn)算詳解
Shell 提供大量的基本運(yùn)算操作，在腳本中非常有用。Shell 對(duì)您提供的算術(shù)表達(dá)式求值，執(zhí)行運(yùn)算展開(kāi)式，此時(shí)使用得出的結(jié)果替換表達(dá)式2012-09-09
linux 比較兩個(gè)文件夾diff不同 (diff命令, md5列表)
這篇文章主要介紹了linux 比較兩個(gè)文件夾diff不同 (diff命令, md5列表),比較文件夾diff，可以直接使用diff命令，也可以比較文件md5列表，下面通過(guò)實(shí)例給大家介紹下，感興趣的朋友跟隨腳本之家小編一起學(xué)習(xí)吧2018-05-05
這篇文章主要介紹了shell 變量的相關(guān)資料，幫助大家更好的理解和學(xué)習(xí)shell，感興趣的朋友可以了解下2020-08-08
vi編輯器是所有Unix及Linux系統(tǒng)下標(biāo)準(zhǔn)的編輯器，它的強(qiáng)大不遜色于任何最新的文本編輯器，本文簡(jiǎn)單給大家介紹linux中vi命令大全，感興趣的朋友一起學(xué)習(xí)吧2015-12-12