shell中刪除文件中重復(fù)行的方法
更新時間：2014年03月13日 15:02:45 作者：
這篇文章主要介紹了shell中刪除文件中重復(fù)行的方法,需要的朋友可以參考下
Linux下文本處理工具很豐富很強大，例如這樣一個文件：
復(fù)制代碼 代碼如下:
cat log
www.fzitv.net 192.168.1.1
www.fzitv.net 192.168.1.1
www.fzitv.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
www.fzitv.net 192.168.1.1
www.fzitv.net 192.168.1.1
www.fzitv.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
可用以下方法去除重復(fù)行：
1.使用uniq/sort刪除重復(fù)行
注意：單純uniq是不行的。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | uniq > a.out
這里我做了個簡單的測試，當(dāng)file中的重復(fù)行不再一起的時候，uniq沒法刪除所有的重復(fù)行。經(jīng)過排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。
2.使用用sort+awk命令
注意：單純awk同樣不行，原因同上。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log;
3.用sort+sed命令，同樣需要sort命令先排序。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'
相關(guān)文章
Linux last命令用于顯示系統(tǒng)開機以來獲是從每月初登入者的訊息。本文主要給大家介紹Linux基礎(chǔ)命令last 命令實例詳解，感興趣的朋友跟隨小編一起看看吧2018-10-10
這篇文章主要介紹了shell中的循環(huán)語句、判斷語句實例,本文對shell的循環(huán)語句、判斷語句做了一個小結(jié),以及在使用中的注意事項,需要的朋友可以參考下2014-07-07
本文介紹下，學(xué)習(xí)shell script編程的入門知識，通過幾個入門實例，帶領(lǐng)大家走進(jìn)shell script的神圣殿堂，呵呵，有需要的朋友參考下2013-11-11
Shell腳本實現(xiàn)在Linux系統(tǒng)中自動安裝JDK
這篇文章主要介紹了Shell腳本實現(xiàn)在Linux系統(tǒng)中自動安裝JDK,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下2015-01-01
使用Bash Shell對目錄中的文件實現(xiàn)遞歸式拷貝
這篇文章主要介紹了使用Bash Shell對目錄中的文件實現(xiàn)遞歸式拷貝,適用于Ubuntu等Debian系的Linux系統(tǒng),需要的朋友可以參考下2015-07-07
本文主要介紹了shell批量設(shè)置key過期時間的兩種方法步驟,包括設(shè)置?Redis?db1中所有key的過期時間,和設(shè)置未設(shè)置過期時間key的過期時間為1小時,具有一定的參考價值,感興趣的可以了解一下2025-03-03
本文主要介紹了反彈shell升級全交互式shell,以提高遠(yuǎn)程控制能力,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
本篇文章主要介紹了Shell中的命令別名、命令歷史和命令替換的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-06-06
解決bash:/root/.bashrc:Permission denied的問題
本文主要介紹了解決bash:/root/.bashrc:Permission denied的問題，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-10-10
可交互的并發(fā)ping檢測腳本，供大家學(xué)習(xí)參考。重點& 跟wait，這樣“并發(fā)”的結(jié)果是輸出結(jié)果不是能按順序，后臺返回。如果需要再排序下2013-02-02