Linux刪除文件不同方法效率對(duì)比
測(cè)試一下Linux下面刪除大量文件的效率。
首先建立50萬(wàn)個(gè)文件
$ test for i in $(seq 1 500000);do echo text >>$i.txt;done
1. rm刪除
$ time rm -f *
zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
zsh: argument list too long: rm
rm -f * 3.63s user 0.29s system 98% cpu 3.985 total
由于文件數(shù)量過(guò)多，rm不起作用。
2. find刪除
$ time find ./ -type f -exec rm {} \;
find ./ -type f -exec rm {} \; 49.86s user 1032.13s system 41% cpu 43:19.17 total
大概43分鐘,我的電腦。。。。。。邊看視頻邊刪的。
3. find with delete
$ time find ./ -type f -delete
find ./ -type f -delete 0.43s user 11.21s system 2% cpu 9:13.38 total
用時(shí)9分鐘。
4. rsync刪除
# 首先建立空文件夾blanktest
$ time rsync -a --delete blanktest/ test/
rsync -a --delete blanktest/ test/ 0.59s user 7.86s system 51% cpu 16.418 total16s
很好很強(qiáng)大。
5. Python刪除
import os
import timeit
def main():
for pathname,dirnames,filenames in os.walk('/home/username/test'):
for filename in filenames:
file=os.path.join(pathname,filename)
os.remove(file)
if __name__=='__main__':
t=timeit.Timer('main()','from __main__ import main')
print t.timeit(1)
1
2
$ python test.py 529.309022903
大概用時(shí)9分鐘。
6. Perl刪除
$ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
perl -e 'for(<*>){((stat)[9]<(unlink))}' 1.28s user 7.23s system 50% cpu 16.784 total16s
這個(gè)應(yīng)該最快了。
7、結(jié)果：
- rm：文件數(shù)量太多，不可用
- find with -exec 50萬(wàn)文件耗時(shí)43分鐘
- find with -delete 9分鐘
- Perl 16sPython 9分鐘
- rsync with -delete 16s
結(jié)論：刪除大量小文件rsync最快，最方便。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- Linux文件刪除后空間未釋放問(wèn)題詳解
- linux文件管理命令實(shí)例分析【權(quán)限、創(chuàng)建、刪除、復(fù)制、移動(dòng)、搜索等】
- Linux如何處理文件已刪除但空間不釋放的問(wèn)題
- Linux unlink函數(shù)和刪除文件的操作方法
- Linux實(shí)現(xiàn)定時(shí)備份MySQL數(shù)據(jù)庫(kù)并刪除30天前的備份文件
- linux定時(shí)備份MySQL數(shù)據(jù)庫(kù)并刪除以前的備份文件(推薦)
- Linux服務(wù)器刪除文件夾、刪除文件、解壓命令的方法
- 詳解在Linux中清空或刪除大文件內(nèi)容的5種方法
相關(guān)文章
linux主機(jī)AMH管理面板安裝教程及建站使用方法(圖文)
這篇文章主要介紹了linux主機(jī)AMH管理面板安裝教程及建站使用,需要的朋友可以參考下2015-10-10
Apache Kafka單節(jié)點(diǎn)極速部署指南及搭建開(kāi)發(fā)單節(jié)點(diǎn)環(huán)境的操作步驟
本文介紹了如何在10分鐘內(nèi)快速部署Apache Kafka單節(jié)點(diǎn)開(kāi)發(fā)環(huán)境,首先,簡(jiǎn)要介紹了Kafka的背景、特性和應(yīng)用場(chǎng)景,然后,詳細(xì)描述了環(huán)境準(zhǔn)備、安裝、配置文件詳解、配置為系統(tǒng)服務(wù)、驗(yàn)證服務(wù)和關(guān)鍵配置項(xiàng)深度解析等內(nèi)容,感興趣的朋友一起看看吧2025-03-03
linux最快的文本搜索神器ripgrep(grep的最好代替者)
這篇文章主要介紹了linux最快的文本搜索神器ripgrep(grep的最好代替者)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
Linux關(guān)于Sudo的隱晦bug引發(fā)的一次業(yè)務(wù)問(wèn)題排查
這篇文章主要介紹了Linux關(guān)于Sudo的隱晦bug引發(fā)的一次業(yè)務(wù)問(wèn)題排查,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-04-04
騰訊云主機(jī)安裝LNMP環(huán)境及wordpress教程
本文給大家分享的是一個(gè)菜鳥(niǎo)學(xué)生首次在騰訊云主機(jī)上安裝LNMP環(huán)境以及WordPress的詳細(xì)教程，以安裝成功為目的，中間沒(méi)涉及安全優(yōu)化等，高手們請(qǐng)直接略過(guò)。2016-04-04
Linux系統(tǒng)管理常用命令及參數(shù)說(shuō)明中文版
這篇文章主要介紹了Linux系統(tǒng)管理常用命令及其參數(shù)的中文版說(shuō)明,方便了英文不好的同學(xué)學(xué)習(xí)Linux,需要的朋友可以參考下2014-03-03
Linux 系統(tǒng)雙網(wǎng)卡綁定配置實(shí)現(xiàn)
這篇文章主要介紹了Linux 系統(tǒng)雙網(wǎng)卡綁定配置實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
linux服務(wù)器下通過(guò)iptables+Denyhost抵御暴力破解的配置方法
這篇文章主要介紹了linux服務(wù)器下通過(guò)iptables + Denyhost抵御暴力破解的方法,需要的朋友可以參考下2014-11-11
linux下安裝openssl、swoole等擴(kuò)展的詳細(xì)步驟
本文給大家詳細(xì)介紹了linux下安裝openssl、swoole等擴(kuò)展的，本文涉及到編譯安裝和yum安裝的知識(shí)點(diǎn)，本文給大家介紹的非常詳細(xì)，感興趣的朋友一起看看吧2016-10-10
Mac本地文件上傳到CentOS中，可以使用scp指令可以完成。這篇文章給大家介紹了Mac本地文件上傳到CentOS云服務(wù)器方法，需要的朋友跟隨腳本之家小編一起看看吧2018-06-06