Shell實現(xiàn)文本去重并操持原有順序
更新時間：2015年03月17日 09:03:41 投稿：junjie
這篇文章主要介紹了Shell實現(xiàn)文本去重并操持原有順序,本文分步驟講解如何解決需求,并給出了若干方法,需要的朋友可以參考下
簡單來說，這個技巧對應(yīng)的是如下一種場景
假設(shè)有文本如下
復(fù)制代碼 代碼如下:
cccc
aaaa
bbbb
dddd
bbbb
cccc
aaaa
現(xiàn)在需要對它進行去重處理，這個很簡單，sort -u就可以搞定，但是如果我希望保持文本原有的順序，比如這里有兩個aaaa，我只是希望去掉第二個aaaa，而第一個aaaa在bbbb的前面，去重后仍舊要在它前面，所以我期望的輸出結(jié)果是
復(fù)制代碼 代碼如下:
cccc
aaaa
bbbb
dddd
當(dāng)然，這個問題本身并不難，用C++或python寫起來都很容易，但所謂殺機焉用牛刀，能用shell命令解決時，它永遠都是我們的首選。答案在最后給出，下面說說我是如何想到這樣
我們有時候想把自己的目錄加入環(huán)境變量PATH時會在~/.bashrc文件中這樣寫，比如待加入的目錄為$HOME/bin
復(fù)制代碼 代碼如下:
export PATH=$HOME/bin:$PATH
這樣我們等于是在PATH追加了路徑$HOME/bin并讓它在最前面被搜索到，但當(dāng)我們執(zhí)行source ~/.bashrc后，$HOME/bin目錄就會被加入PATH，如果我們下次再添加一個目錄，比如
復(fù)制代碼 代碼如下:
export PATH=$HOME/local/bin:$HOME/bin:$PATH
再執(zhí)行source ~/.bashrc時，$HOME/bin目錄在PATH中其實會有兩份記錄，雖然這不影響使用，但對于一個強迫癥來說，這是無法忍受的，于是問題就變成了，我們需要去掉$PATH里重復(fù)的路徑，并且保持原有路徑順序不變，也就是原本誰在前面，去重后仍舊在前面，因為在執(zhí)行shell命令時是從第一個路徑開始查找的，所以順序很重要
好了，說了這么多我們來揭示最終的結(jié)果，以文章開始的數(shù)據(jù)為例，假設(shè)輸入文件是in.txt，命令如下
復(fù)制代碼 代碼如下:
cat -n in.txt | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2-
這些都是很簡單的shell命令，下面稍作解釋
復(fù)制代碼 代碼如下:
cat -n in.txt : 輸出文本，并在前面加上行號，以\t分隔
sort -k2,2 -k1,1n : 對輸入內(nèi)容排序，primary key是第二個字段，second key是第一個字段并且按數(shù)字大小排序
uniq －f1 : 忽略第一列，對文本進行去重，但輸出時會包含第一列
sort -k1,1n : 對輸入內(nèi)容排序，key是第一個字段并按數(shù)字大小排序
cut -f2- : 輸出第2列及之后的內(nèi)容，默認(rèn)分隔符為\t
大家可以從第一條命令開始，并依次組合，看看實際輸出效果，那樣便更容易理解了。對于$PATH中的重復(fù)路徑又該如何處理呢，還是以前面的例子來說，只需在前后用tr做一下轉(zhuǎn)換即可
復(fù)制代碼 代碼如下:
export PATH=$HOME/local/bin:$HOME/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`
其實這樣使用PATH會有個問題，比如我們執(zhí)行了以上命令后，如果想去掉$HOME/bin這個路徑，僅僅修改為如下內(nèi)容是不夠的
復(fù)制代碼 代碼如下:
export PATH=$HOME/local/bin:$PATH
export PATH=`echo $PATH | tr ':' '\n' | cat -n | sort -k2,2 -k1,1n | uniq -f1 | sort -k1,1n | cut -f2- | tr '\n' ':'`
因為我們已經(jīng)將$HOME/bin加入了$PATH中，這樣做并沒有起到刪除的作用，也許最好的方式還是自己清楚的知道所有路徑，然后顯示指定，而不是采取追加的方式
相關(guān)文章
這篇文章主要介紹了Shell腳本避免重復(fù)執(zhí)行的方法的,本文給出的代碼只要放在需要執(zhí)行的腳本頭部即可避免重復(fù)執(zhí)行,非常方便實用,需要的朋友可以參考下2015-01-01
ubuntu 解決libsqlite3-0依賴的問題(推薦)
下面小編就為大家?guī)硪黄猽buntu 解決libsqlite3-0依賴的問題(推薦)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05
編寫一個bash腳本時，需要用戶輸入一個密碼，方可繼續(xù)后續(xù)流程，但是又要保證用戶輸入的密碼不會被別人看到，因此排除了通過參數(shù)將密碼傳入腳本的方案2013-08-08
這篇文章主要為大家詳細(xì)介紹了Linux中常用的資源監(jiān)控命令,文中的示例代碼講解詳細(xì),具有一定的借鑒價值,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-12-12
這篇文章主要為大家詳細(xì)介紹了linux定時任務(wù)基礎(chǔ)命令，具有一定的參考價值，感興趣的小伙伴們可以參考一下2016-12-12
這篇文章主要介紹了Shell腳本獲取進程的運行時間,需要的朋友可以參考下2014-06-06
putty實現(xiàn)自動登錄的方法(ssh和ssh2)
這篇文章主要介紹putty實現(xiàn)自動登錄的方法，需要的朋友可以參考下2013-02-02
我們平時用得最多的是通過touch創(chuàng)建一個空文件，實際上通過touch命令可以修改文件的atime、mtime，所以文件的真實訪問時間和修改時間是可以被修改，我們在排查系統(tǒng)異常的時候還需要結(jié)合日志、歷史命令等等因素綜合決策，本文介紹Linux touch命令,需要的朋友可以參考下2023-03-03
詳解linux下利用crontab創(chuàng)建定時任務(wù)
這篇文章主要介紹了linux下利用crontab創(chuàng)建定時任務(wù)的相關(guān)資料,需要的朋友可以參考下2017-04-04
這篇文章主要介紹了shell中刪除文件中重復(fù)行的方法,需要的朋友可以參考下2014-03-03