說到shell可控多線程，網(wǎng)上分享的大部分是管道控制的方案。這種方案，張戈博客也曾經(jīng)實(shí)戰(zhàn)并分享過一次：《Shell+Curl網(wǎng)站健康狀態(tài)檢查腳本，抓出中國(guó)博客聯(lián)盟失聯(lián)站點(diǎn)》，感興趣的朋友可以看看。

分享一個(gè)入門級(jí)可控多線程shell腳本方案

下面張戈博客再分享另一種更容易理解的入門級(jí)可控多線程shell腳本方案：任務(wù)切割、各個(gè)擊破。

先來 1 段場(chǎng)景描述：

某日，在鵝廠接到了這個(gè)任務(wù)，需要在Linux服務(wù)器中，對(duì)幾千個(gè)IP進(jìn)行一次Ping檢測(cè)，只要取得ping可達(dá)的IP就好。如果單個(gè)IP去ping測(cè)試，雖然也可以完成任務(wù)，幾千個(gè)IP還好了，如果更多呢？

鑒于這個(gè)case簡(jiǎn)單程度，第一時(shí)間先放棄了以前用過的管道方案，而是采用了各個(gè)擊破的思想。

簡(jiǎn)單思路：

按照任務(wù)切割的“戰(zhàn)略思想”，我先將這幾千IP存入一個(gè)iplist文件，然后寫一個(gè)分割函數(shù)，將這個(gè)文件分成多份臨時(shí)IP清單，最后，用多線程遍歷這些臨時(shí)IP文件即可變相實(shí)現(xiàn)多線程了。

具體代碼：

#!/bin/sh
#文本分割函數(shù)：將文本$1按份數(shù)$2進(jìn)行分割
SplitFile()
{
 linenum=`wc -l $1 |awk '{print $1}'`
 if [[ $linenum -le $2 ]]
 then
 echo "The lines of this file is less then $2, Are you kidding me..."
 exit
 fi
 Split=`expr $linenum / $2`
 Num1=1
 FileNum=1
 test -d SplitFile || mkdir -p SplitFile
 rm -rf SplitFile/*
 while [ $Num1 -lt $linenum ]
 do
 Num2=`expr $Num1 + $Split`
 sed -n "${Num1}, ${Num2}p " $1 > SplitFile/$1-$FileNum
 Num1=`expr $Num2 + 1`
 FileNum=`expr $FileNum + 1`
 done
}
 
#Define some variables
SPLIT_NUM=${1:-10} #參數(shù)1表示分割成多少份即,開啟多少個(gè)線程，默認(rèn)10個(gè)
FILE=${2:-iplist} #參數(shù)2表示分割的對(duì)象，默認(rèn)iplist文件
 
#分割文件
SplitFile $FILE $SPLIT_NUM
 
#循環(huán)遍歷臨時(shí)IP文件
for iplist in $(ls ./SplitFile/*)
do
 #循環(huán)ping測(cè)試臨時(shí)IP文件中的ip（丟后臺(tái)）
 cat $iplist | while read ip
 do
 ping -c 4 -w 4 $ip >/dev/null && echo $ip | tee -ai okip.log #ping 可達(dá)的IP則寫入日志
 done & #在while循環(huán)后面加上&符號(hào)，讓這個(gè)嵌套循環(huán)在后臺(tái)執(zhí)行
done

將代碼保存為ping.sh之后，執(zhí)行 sh ping.sh iplist 100 的過程如下：
先將iplist切割成100份，存放在 SplitFile 文件夾中

然后，通過for循環(huán)讀取這些分割文件，并在后臺(tái)使用while循環(huán)對(duì)其中ip執(zhí)行ping命令。
由于while是丟后臺(tái)的， 所以for循環(huán)會(huì)一次性執(zhí)行100個(gè)while，相當(dāng)于開啟了100個(gè)線程，速度自然不可同日而語矣。
其中，切割的份數(shù)即你想要開啟的多線程數(shù)量，很明顯，這種任務(wù)分割的思路雖然沒有管道方案來的高大上，但是其思想更加簡(jiǎn)單易懂，而且通用性也更好，適合入門級(jí)的簡(jiǎn)單多線程任務(wù)。

最新評(píng)論