前言

最近在工作中碰到一個(gè)很棘手的問題，需要讀取出ubuntu系統(tǒng)中某個(gè)目錄下所有文件，由于服務(wù)器中存儲的文件實(shí)在太多，導(dǎo)致此過程效率十分低下，動(dòng)輒需要等待一個(gè)小時(shí)之久，還只是一個(gè)目錄。于是如何快速獲取文件列表便是這兩天的頭等大事，折騰半天找到一個(gè)較為快速的方法，記錄如下，話不多說了，來一起看看詳細(xì)的介紹吧。

多種實(shí)現(xiàn)方法

嘗試了多種方法，有編程的和非編程的。

1、walk

python的walk庫能夠遞歸的讀取目錄下所有文件，這個(gè)是最常規(guī)的方法，然而效率有些緩慢。實(shí)現(xiàn)很簡單，不贅述。

2、os.scandir

python中的os.scandir方法官方解釋為快速讀取目錄，測試了一下速度相對walk而言是由提高，但是還是達(dá)不到要求，也需要自己寫遞歸，代碼如下：

def scan_path(file_path, level = 3):
 files = []
 if level >= 0:
  path = os.scandir(file_path)
  for p in path:
   if p.is_dir():
    files.extend(scan_path(p.path, level - 1))
   else:
    files.append(p.path)
 return files

當(dāng)這兩種方法都行不通的時(shí)候我就開始考慮才用非編程方法了。理論上來說python的執(zhí)行效率已經(jīng)蠻高了，雖然可能達(dá)不到c或者c++的速度，但是相比java、C#來說已經(jīng)夠快了，所以就沒有再考慮編程的方式，而是轉(zhuǎn)向linux系統(tǒng)原生的方式。

3、ls

最先想到的就是ls命令，使用如下命令

ls –l –R(或-lR) src > list.txt

此命令能夠列出src目錄下的所有文件，但是效率還是不夠高，而且結(jié)果包含了目錄信息以及文件信息，不太整齊，需要后續(xù)處理。

4、tree

tree命令本身用于列出文件系統(tǒng)的結(jié)構(gòu)樹，在設(shè)置一些參數(shù)的情況下也能夠?qū)崿F(xiàn)列出所有目錄和文件的功能。

tree -afi -L 3 -o 2.txt --noreport src

-a列出所有文件，-f列出完整路徑（結(jié)果為絕對路徑或者相對路徑與find用法一致），-i不畫tree的結(jié)構(gòu)線， -L列出多少層目錄，-o輸出到文件，--noreport不要最后的summary。

5、find

find命令本身是查找文件的命令，但是如果使用得當(dāng)，能夠快速列出目錄下文件，命令如下：

find src > 1.txt

此命令速度足夠快，基本能夠滿足需要了。find的結(jié)果相對當(dāng)前src的路徑，也就是說其每條結(jié)果的開頭均是src，如果src為絕對路徑，則結(jié)果為絕對路徑，如果src為相對路徑，則結(jié)果以此相對路徑為開頭。

6、locate

又Google了一下，發(fā)現(xiàn)locate與find的功能相似，locate也能夠查找文件，于是猜想locate也能夠?qū)崿F(xiàn)此功能，試之，果然可以，寫法都是一樣的。

locate src > 1.txt

不同點(diǎn)在于無論src為相對路徑還是絕對路徑，其結(jié)果均為絕對路徑。

使用time命令進(jìn)行命令執(zhí)行時(shí)間測試，發(fā)現(xiàn)find和locate時(shí)間基本相同，有時(shí)locate會稍微快一些，而tree命令則有些慢。

結(jié)論

以上均可取到文件夾下所有文件，使用walk和scandir最為方便與程序集成，但是速度稍微有些慢，find和locate命令速度較快，tree命令功能強(qiáng)大，但速度相對find和locate有些慢，此三者若要與python集成，則需要在程序中使用os.popen等管道機(jī)制來執(zhí)行拼接的bash命令。所以以上命令各有所長，按照自己的需求取舍。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。

最新評論