批處理實(shí)現(xiàn)過濾重復(fù)行
更新時間：2015年09月21日 09:37:21 投稿：hebedich
這篇文章主要給大家匯總介紹了批處理實(shí)現(xiàn)過濾重復(fù)行的5種方法，小伙伴們可以自己測試下效率，有需要的小伙伴可以參考下。
a.txt內(nèi)容如下：
123
456
789
123
123
789
獲取重復(fù)的行，并且重復(fù)的行只保留一次，處理后得到b.txt內(nèi)容如下：
123
789
方法1：
@echo off
REM 缺點(diǎn)1：無法處理特別大的文件
REM 缺點(diǎn)2：需要使用文件中沒有出現(xiàn)的字符來標(biāo)記變量（本例中使用的是下劃線）
setlocal
for /f "delims=" %%i in (a.txt) do (
set /a _%%i+=1
)
(for /f "tokens=1-2 delims=_=" %%i in ('set _') do (
if %%j gtr 1 (
echo,%%i
)
))>b.txt
endlocal
方法2：
@echo off
setlocal enabledelayedexpansion
set "PriLine="
set "DupNum=1"
(for /f "delims=" %%i in ('sort a.txt') do (
if "!PriLine!" equ "%%i" (
set /a DupNum+=1
) else (
if !DupNum! gtr 1 (
echo,!PriLine!
)
set DupNum=1
)
set "PriLine=%%i"
))>b.txt
if !DupNum! gtr 1 (
>>b.txt echo,!PriLine!
)
方法3：
gawk "{a[$0]++}END{for(i in a)if(a[i]>1)print i}" a.txt > b.txt
方法4：（更加簡潔）
gawk "a[$0]++" a.txt>b.txt
方法5：
@echo off
for /f "tokens=*" %%i in (a.txt) do set #%%i=%%i
(for /f "tokens=2 delims==" %%i in ('set #') do echo %%i)>b.txt
相關(guān)文章
DOS批處理文件...2006-09-09
批處理應(yīng)用：使用FLASHGET檢查Mcafee SuperDat更新
批處理應(yīng)用：使用FLASHGET檢查Mcafee SuperDat更新...2007-04-04
當(dāng)我們在cmd窗口中查詢某條命令的幫助信息的時候，幫助信息是顯示在命令行窗口中的，命令行窗口關(guān)閉后，這些幫助信息就看不到了，如果下次還想看，又得在命令行窗口中輸入查詢命令，比較繁瑣。2009-04-04
hh.exe 隱藏參數(shù) chm反編譯命令參數(shù)
一直都是用國外的小軟件，反編譯chm文件，沒想到用微軟自帶的其實(shí)系統(tǒng)里面就有的命令就可以實(shí)現(xiàn)了，效果也好，但就是沒有索引比較痛苦。2009-09-09
批處理版的SC...2006-12-12
用批處理實(shí)現(xiàn)文件備份器V2.3...2007-08-08
發(fā)現(xiàn)很多人需要計(jì)算 n 天前后的天數(shù)， 但是計(jì)算天數(shù)要考慮到大月小月，平年閏年。及其麻煩。2008-06-06
%time:~0,2% %%內(nèi)的意思詳解...2007-05-05
系統(tǒng)路徑是指一些以%SystemRoot%（以“%名稱%”表示）開頭的路徑。它的作用是告訴系統(tǒng)，我要定位的文件（夾）在系統(tǒng)分區(qū)Windows目錄下。2008-07-07
Msd、Undelete命令的使用方法...2007-03-03