python實(shí)現(xiàn)zip分卷壓縮的詳細(xì)方法
1. python實(shí)現(xiàn)zip分卷壓縮
WinHex 開始16進(jìn)制一個(gè)一個(gè)文件對(duì)比 WinRar 創(chuàng)建的分卷壓縮和單個(gè) zip 文件的差異。

如果想把單個(gè)大文件 test.zip -> 分卷文件 test.z01、test.z02、test.zip
首先,在創(chuàng)建的第一個(gè)分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 這個(gè)是分卷壓縮的文件頭(header),占4個(gè)字節(jié)。其實(shí)單個(gè)壓縮文件本身 header 就有這個(gè)了,而分卷壓縮的需要兩個(gè)emmm。之后便是從單個(gè)大壓縮文件文件test.zip中讀取 "一個(gè)分卷大小 -4 個(gè)字節(jié)"的數(shù)據(jù),寫入test.z01中,如何接著讀取一個(gè)分卷大小的數(shù)據(jù),寫入test.z02,以此類推,最后一個(gè)分卷文件名也是test.zip
1.1 代碼如下:
import os
import zipfile
def zip_by_volume(file_path, block_size):
"""zip文件分卷壓縮"""
file_size = os.path.getsize(file_path) # 文件字節(jié)數(shù)
path, file_name = os.path.split(file_path) # 除去文件名以外的path,文件名
suffix = file_name.split('.')[-1] # 文件后綴名
# 添加到臨時(shí)壓縮文件
zip_file = file_path + '.zip'
with zipfile.ZipFile(zip_file, 'w') as zf:
zf.write(file_path, arcname=file_name)
# 小于分卷尺寸則直接返回壓縮文件路徑
if file_size <= block_size:
return zip_file
else:
fp = open(zip_file, 'rb')
count = file_size // block_size + 1
# 創(chuàng)建分卷壓縮文件的保存路徑
save_dir = path + os.sep + file_name + '_split'
if os.path.exists(save_dir):
from shutil import rmtree
rmtree(save_dir)
os.mkdir(save_dir)
# 拆分壓縮包為分卷文件
for i in range(1, count + 1):
_suffix = 'z{:0>2}'.format(i) if i != count else 'zip'
name = save_dir + os.sep + file_name.replace(str(suffix), _suffix)
f = open(name, 'wb+')
if i == 1:
f.write(b'\x50\x4b\x07\x08') # 添加分卷壓縮header(4字節(jié))
f.write(fp.read(block_size - 4))
else:
f.write(fp.read(block_size))
fp.close()
os.remove(zip_file) # 刪除臨時(shí)的 zip 文件
return save_dir
if __name__ == '__main__':
file = r"D:\Downloads\1.mp4" # 原始文件
volume_size = 1024 * 1024 * 100 # 分卷大小 100MB
path = zip_by_volume(file, volume_size)
print(path) # 輸出分卷壓縮文件的路徑1.2 缺點(diǎn):
該方法創(chuàng)建分卷壓縮的時(shí)候,需要先在磁盤創(chuàng)建一個(gè)臨時(shí)壓縮包,然后將其拆分,實(shí)際上會(huì)對(duì)磁盤寫入兩次,這就浪費(fèi)了時(shí)間。
當(dāng)然,使用 ByteIO 進(jìn)行字節(jié)流的壓縮,但是這種方式需要先把文件讀入內(nèi)存,對(duì)于超級(jí)大的文件,這是不現(xiàn)實(shí)的,分分鐘內(nèi)存爆炸
到此這篇關(guān)于python實(shí)現(xiàn)zip分卷壓縮的文章就介紹到這了,更多相關(guān)python zip分卷壓縮內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
探索Python定時(shí)任務(wù)實(shí)現(xiàn)高效時(shí)間管理
這篇文章主要為大家介紹了探索Python定時(shí)任務(wù)高效實(shí)現(xiàn)高效時(shí)間管理,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01
python Django框架快速入門教程(后臺(tái)管理)
Django 是一個(gè)開放源代碼的 Web 應(yīng)用框架,由 Python 寫成,今天通過(guò)本文給大家介紹python Django框架快速入門教程,適用后臺(tái)管理,感興趣的朋友跟隨小編一起看看吧2021-07-07
matplotlib之Font family [‘sans-serif‘] not&nbs
本文主要介紹了matplotlib之Font family [‘sans-serif‘] not found的問(wèn)題解決,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
python Matplotlib基礎(chǔ)--如何添加文本和標(biāo)注
這篇文章主要介紹了python Matplotlib基礎(chǔ)--如何添加文本和標(biāo)注,幫助大家更好的利用Matplotlib繪制圖表,感興趣的朋友可以了解下2021-01-01
PyQt5的安裝配置過(guò)程,將ui文件轉(zhuǎn)為py文件后顯示窗口的實(shí)例
今天小編就為大家分享一篇PyQt5的安裝配置過(guò)程,將ui文件轉(zhuǎn)為py文件后顯示窗口的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
Python使用add_subplot與subplot畫子圖操作示例
這篇文章主要介紹了Python使用add_subplot與subplot畫子圖操作,涉及Python使用matplotlib模塊進(jìn)行圖形繪制的相關(guān)操作技巧,需要的朋友可以參考下2018-06-06
Numpy實(shí)現(xiàn)矩陣運(yùn)算及線性代數(shù)應(yīng)用
這篇文章主要介紹了Numpy實(shí)現(xiàn)矩陣運(yùn)算及線性代數(shù)應(yīng)用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Python實(shí)現(xiàn)畫箱線圖展示數(shù)據(jù)分布情況
這篇文章主要介紹了Python實(shí)現(xiàn)畫箱線圖展示數(shù)據(jù)分布情況,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07

