最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python實(shí)現(xiàn)遍歷讀取文件或文件夾

 更新時(shí)間:2022年08月07日 14:57:49   作者:拜陽(yáng)  
搞機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)算法很多時(shí)候需要遍歷某個(gè)目錄讀取文件,特別是經(jīng)常需要讀取某個(gè)特定后綴的文件。本文為大家準(zhǔn)備了Python遍歷讀取文件或文件夾的示例代碼,需要的可以參考一下

搞機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)算法很多時(shí)候需要遍歷某個(gè)目錄讀取文件,特別是經(jīng)常需要讀取某個(gè)特定后綴的文件,比如圖片的話可能需要讀取jpg, png, bmp格式的文件。python本身的庫(kù)函數(shù)功能沒(méi)有這么定制化,所以就需要再重新包裝一下。

例子

假設(shè)我們有如下的目錄結(jié)構(gòu),以bmp結(jié)尾的是文件,其他是文件夾。下面的程序都將以該目錄結(jié)構(gòu)為例進(jìn)行說(shuō)明。

os.listdir

os.listdir僅讀取當(dāng)前路徑下的文件和文件夾,返回一個(gè)列表。讀取demo目錄結(jié)構(gòu)的代碼和結(jié)果如下:

path = r'D:\data'
items = os.listdir(path)  # ==> ['1.bmp', '2.bmp', 'a', 'b']

os.walk

os.walk本身已經(jīng)是遍歷讀取,包含所有的子文件(夾)但是其結(jié)果不像是os.listdir一樣是個(gè)list,而是一個(gè)比較復(fù)雜的數(shù)據(jù)體,難以直接使用,所以一般需要再處理一下。我們可以使用for語(yǔ)句將其打印出來(lái)看看:

path = r'D:\data'
# part 1
for items in os.walk(path):
    print(items)
# part 2
for main_dir, sub_dir_list, sub_file_list in os.walk(path):
    print(main_dir, sub_dir_list, sub_file_list)

結(jié)果為:

# part 1
('D:\\data', ['a', 'b'], ['1.bmp', '2.bmp'])
('D:\\data\\a', [], ['a1.bmp'])
('D:\\data\\b', [], ['b1.bmp'])

# part 2
D:\data ['a', 'b'] ['1.bmp', '2.bmp']
D:\data\a [] ['a1.bmp']
D:\data\b [] ['b1.bmp']

使用迭代器對(duì)os.walk()的結(jié)果進(jìn)行輸出,發(fā)現(xiàn)每一條包含三個(gè)部分(part 1),在part 2中,我們給三個(gè)部分分別起名為main_dir, sub_dir_list, sub_file_list,下面對(duì)其進(jìn)行簡(jiǎn)單解釋?zhuān)?/p>

  • main_dir:遍歷得到的路徑下所有文件夾
  • sub_dir_list:main_dir下面的文件夾
  • sub_file_list:main_dir下面的文件

連接main_dir和sub_file_list中的文件可以得到路徑下的所有文件。

sub_dir_list在這里則沒(méi)有用處,我們無(wú)需再去遍歷sub_dir_list,因?yàn)樗鼈円呀?jīng)包含在main_dir里了。

遍歷讀取代碼

代碼邏輯如下:

需要有后綴辨別功能,并且能夠同時(shí)辨別多個(gè)后綴

需要有遞歸和非遞歸功能

返回的是以入?yún)ath為前綴的路徑,所以如果path是完整路徑那么返回的就是完整路徑,否則就不是

# -*- coding: utf-8 -*-
import os


def file_ext(filename, level=1):
    """
    return extension of filename

    Parameters:
    -----------
    filename: str
        name of file, path can be included
    level: int
        level of extension.
        for example, if filename is 'sky.png.bak', the 1st level extension
        is 'bak', and the 2nd level extension is 'png'

    Returns:
    --------
    extension of filename
    """
    return filename.split('.')[-level]


def _contain_file(path, extensions):
    """
    check whether path contains any file whose extension is in extensions list

    Parameters:
    -----------
    path: str
        path to be checked
    extensions: str or list/tuple of str
        extension or extensions list

    Returns:
    --------
    return True if contains, else return False
    """
    assert os.path.exists(path), 'path must exist'
    assert os.path.isdir(path), 'path must be dir'

    if isinstance(extensions, str):
        extensions = [extensions]

    for file in os.listdir(path):
        if os.path.isfile(os.path.join(path, file)):
            if (extensions is None) or (file_ext(file) in extensions):
                return True
    return False


def _process_extensions(extensions=None):
    """
    preprocess and check extensions, if extensions is str, convert it to list.

    Parameters:
    -----------
    extensions: str or list/tuple of str
        file extensions

    Returns:
    --------
    extensions: list/tuple of str
        file extensions
    """
    if extensions is not None:
        if isinstance(extensions, str):
            extensions = [extensions]
        assert isinstance(extensions, (list, tuple)), \
            'extensions must be str or list/tuple of str'
        for ext in extensions:
            assert isinstance(ext, str), 'extension must be str'
    return extensions


def get_files(path, extensions=None, is_recursive=True):
    """
    read files in path. if extensions is None, read all files, if extensions
    are specified, only read the files who have one of the extensions. if
    is_recursive is True, recursively read all files, if is_recursive is False,
    only read files in current path.

    Parameters:
    -----------
    path: str
        path to be read
    extensions: str or list/tuple of str
        file extensions
    is_recursive: bool
        whether read files recursively. read recursively is True, while just
        read files in current path if False

    Returns:
    --------
    files: the obtained files in path
    """
    extensions = _process_extensions(extensions)
    files = []
    # get files in current path
    if not is_recursive:
        for name in os.listdir(path):
            fullname = os.path.join(path, name)
            if os.path.isfile(fullname):
                if (extensions is None) or (file_ext(fullname) in extensions):
                    files.append(fullname)
        return files
    # get files recursively
    for main_dir, _, sub_file_list in os.walk(path):
        for filename in sub_file_list:
            fullname = os.path.join(main_dir, filename)
            if (extensions is None) or (file_ext(fullname) in extensions):
                files.append(fullname)
    return files


def get_folders(path, extensions=None, is_recursive=True):
    """
    read folders in path. if extensions is None, read all folders, if
    extensions are specified, only read the folders who contain any files that
    have one of the extensions. if is_recursive is True, recursively read all
    folders, if is_recursive is False, only read folders in current path.

    Parameters:
    -----------
    path: str
        path to be read
    extensions: str or list/tuple of str
        file extensions
    is_recursive: bool
        whether read folders recursively. read recursively is True, while just
        read folders in current path if False

    Returns:
    --------
    folders: the obtained folders in path
    """
    extensions = _process_extensions(extensions)
    folders = []
    # get folders in current path
    if not is_recursive:
        for name in os.listdir(path):
            fullname = os.path.join(path, name)
            if os.path.isdir(fullname):
                if (extensions is None) or \
                        (_contain_file(fullname, extensions)):
                    folders.append(fullname)
        return folders
    # get folders recursively
    for main_dir, _, _ in os.walk(path):
        if (extensions is None) or (_contain_file(main_dir, extensions)):
            folders.append(main_dir)
    return folders


if __name__ == '__main__':
    path = r'.\data'

    files = get_files(path)
    print(files)  # ==> ['D:\\data\\1.bmp', 'D:\\data\\2.bmp', 'D:\\data\\a\\a1.bmp', 'D:\\data\\b\\b1.bmp']

    folders = get_folders(path)
    print(folders)  # ==> ['D:\\data', 'D:\\data\\a', 'D:\\data\\b']

以上就是Python實(shí)現(xiàn)遍歷讀取文件或文件夾的詳細(xì)內(nèi)容,更多關(guān)于Python遍歷讀取文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

相關(guān)文章

  • Python列表生成式應(yīng)用方式

    Python列表生成式應(yīng)用方式

    這篇文章主要介紹了Python列表生成式應(yīng)用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-06-06
  • Python實(shí)現(xiàn)的端口掃描功能示例

    Python實(shí)現(xiàn)的端口掃描功能示例

    這篇文章主要介紹了Python實(shí)現(xiàn)的端口掃描功能,涉及Python針對(duì)端口的連接、打開(kāi)、關(guān)閉及線程相關(guān)操作技巧,需要的朋友可以參考下
    2018-04-04
  • Python調(diào)用Java可執(zhí)行jar包問(wèn)題

    Python調(diào)用Java可執(zhí)行jar包問(wèn)題

    這篇文章主要介紹了Python調(diào)用Java可執(zhí)行jar包問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-12-12
  • Python 實(shí)現(xiàn) 貪吃蛇大作戰(zhàn) 代碼分享

    Python 實(shí)現(xiàn) 貪吃蛇大作戰(zhàn) 代碼分享

    本文給大家分享的是一個(gè)使用cocos2d-python游戲引擎庫(kù)制作出來(lái)的貪吃蛇大作戰(zhàn)的游戲代碼,基于Python 2.7 和 cocos2d 庫(kù),有需要的小伙伴可以參考下
    2016-09-09
  • 如何使用Python提取Chrome瀏覽器保存的密碼

    如何使用Python提取Chrome瀏覽器保存的密碼

    今天小編教大家怎么用Python提取Chrome瀏覽器保存的密碼,在這需要導(dǎo)入一些必要模塊定義一些有用的函數(shù)來(lái)幫助我們?cè)谥骱瘮?shù)中調(diào)用,具體實(shí)例代碼跟隨小編一起學(xué)習(xí)下吧
    2021-06-06
  • 在tensorflow中設(shè)置使用某一塊GPU、多GPU、CPU的操作

    在tensorflow中設(shè)置使用某一塊GPU、多GPU、CPU的操作

    今天小編就為大家分享一篇在tensorflow中設(shè)置使用某一塊GPU、多GPU、CPU的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-02-02
  • Python打造出適合自己的定制化Eclipse IDE

    Python打造出適合自己的定制化Eclipse IDE

    這篇文章主要介紹了Python打造出適合自己的定制化Eclipse IDE的相關(guān)資料,需要的朋友可以參考下
    2016-03-03
  • Python的@property的使用

    Python的@property的使用

    通常,當(dāng)我們需要對(duì)對(duì)象的敏感屬性或者不希望外部直接訪問(wèn)的屬性進(jìn)行私有化,但是某些時(shí)候我們又需要對(duì)這些私有屬性進(jìn)行修改,該怎么處理呢,感興趣的可以了解一下
    2021-07-07
  • Python訪問(wèn)本地deepseek示例【含deepseek本地部署】

    Python訪問(wèn)本地deepseek示例【含deepseek本地部署】

    這篇文章主要介紹了Python訪問(wèn)本地deepseek功能,結(jié)合實(shí)例形式分析了使用Ollama本地部署deepseek以及python訪問(wèn)本地deepseek的過(guò)程,需要的朋友可以參考下
    2018-06-06
  • 徹徹底底地理解Python中的編碼問(wèn)題

    徹徹底底地理解Python中的編碼問(wèn)題

    Python處理文本的功能非常強(qiáng)大,但是如果是初學(xué)者,沒(méi)有搞清楚python中的編碼機(jī)制,也經(jīng)常會(huì)遇到亂碼或者decode error。本文的目的是簡(jiǎn)明扼要地說(shuō)明python的編碼機(jī)制,并給出一些建議,需要的朋友可以參考下
    2018-10-10

最新評(píng)論

金华市| 佛冈县| 和顺县| 临沧市| 长岛县| 施秉县| 三河市| 射阳县| 会泽县| 南平市| 汕尾市| 绵阳市| 剑阁县| 阳山县| 连州市| 南澳县| 广河县| 闽清县| 浦城县| 瓦房店市| 墨江| 陵水| 松江区| 泗阳县| 峨眉山市| 金昌市| 罗平县| 鲁山县| 乌拉特前旗| 新蔡县| 郁南县| 泰安市| 章丘市| 怀来县| 新和县| 吉水县| 湾仔区| 石屏县| 泰来县| 营口市| 竹北市|