Linux 刪除文本中的重復(fù)行的方法
我要評論在進行文本處理的時候，我們經(jīng)常遇到要刪除重復(fù)行的情況。那怎么解決呢？
下面就是三種常見方法？
第一，用sort+uniq，注意，單純uniq是不行的。
shell> sort -k2n file | uniq
這里我做了個簡單的測試，當(dāng)file中的重復(fù)行不再一起的時候，uniq將服務(wù)刪除所有的重復(fù)行。經(jīng)過排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。
第二，用sort+awk命令，注意，單純awk同樣不行，原因同上。
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
當(dāng)然，自己把管道后面的代碼重新設(shè)計一下，可能不需要sort命令先排序拉。
第三，用sort+sed命令，同樣需要sort命令先排序。
shell> sort -k2n file | sed '$!N; /^.∗\n\1$/!P; D'
最后附一個必須先用sort排序的文本的例子，當(dāng)然，這個需要用sort排序的原因是很簡單，就是后面算法設(shè)計的時候的“局部性”，相同的行可能分散出現(xiàn)在不同的區(qū)域，一旦有新的相同行出現(xiàn)，那么前面的已經(jīng)出現(xiàn)的記錄就被覆蓋了，看了這個例子就好理解拉。
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
其實，這是我隨便打進去的幾行字，沒想到就是必須用sort的很好例子，大家可以自己試試看。
相關(guān)文章
集成系統(tǒng)級Claw模式! Deepin 官宣發(fā)布 25.1 版本
deepin操作系統(tǒng)發(fā)布了最新的 25.1 版本更新，該版本基于 deepin 25 正式版積累的多輪內(nèi)測成果，在 AI 能力、內(nèi)核版本、桌面環(huán)境、文件管理器以及系統(tǒng)安全等方面進行了更新2026-04-13
又一代老硬件退場! Linux 內(nèi)核正式放棄Intel 486 CPU
在過去的幾十年間，CPU 的架構(gòu)已經(jīng)經(jīng)歷了飛速發(fā)展，x86 系列就是其中之一，而 i486 則屬于該系列中的一個，當(dāng)前，i486 的CPU處理器已經(jīng)夠老，從 Linux 7.1 開始將不再有對2026-04-09趕緊收藏! 全網(wǎng)最全 Linux 命令總結(jié)
我把 Linux 中最常用、最實用、最常被問到的命令按照實際使用場景分類整理，方便你快速查閱和記憶，內(nèi)容覆蓋日常運維、開發(fā)調(diào)試、性能分析、文件處理、網(wǎng)絡(luò)、安全、系統(tǒng)管2026-04-08一分鐘內(nèi)檢查Linux服務(wù)器性能? 9個性能檢測常用的基本命令
今天我們來看看Linux系統(tǒng)中用于性能監(jiān)控的一系列命令，這些命令可以快速查看機器的負載情況，詳細請看下文介紹2026-03-18從零基礎(chǔ)到精通! 適合高級用戶的15款Linux發(fā)行版推薦
Linux作為操作系統(tǒng)領(lǐng)域靈活性和可定制性的基石，提供了大量滿足不同用戶需求的發(fā)行版，今天分享適合高級用戶的15款Linux發(fā)行版2026-03-10開箱即用? 這4個高手級Linux發(fā)行版遠沒你想象的那么安全易用
如果你正在糾結(jié)用哪個發(fā)行版？零基礎(chǔ)新手別被“高端”“極客”“聲明式”這些詞沖昏頭腦，先用好用的，再慢慢進階2026-03-10這幾款SSH工具真的夠用了! Linux好用的ssh工具推薦
在Linux上使用SSH，您需要安裝一個SSH客戶端，今天整理找到的8 款 SSH / 終端工具，從免費開源到企業(yè)級商用，從輕量化命令行到一站式工具箱，每款都做了介紹與對比，希望能2026-03-09- 在Linux系統(tǒng)下有兩種用戶，即高級用戶root，普通用戶，高級用戶root可以在系統(tǒng)中做任何事情，普通用戶僅可在Linux系統(tǒng)中做有限的事情，下面我們就來看看切換方法2026-02-28
揭秘當(dāng)前登錄用戶的身份! Linux中使用logname命令的技巧
logname命令就是這樣一個簡單但強大的工具，它能幫助我們輕松獲取當(dāng)前登錄用戶的用戶名,今天，我們就來深入探索一下這個命令的工作原理、使用方法和最佳實踐2026-02-26- 在 Linux 系統(tǒng)中，DNS 緩存是一種將域名和 IP 地址映射關(guān)系緩存在本地的機制，可以加快域名解析速度，并減輕 DNS 服務(wù)器的負載2026-02-26
