使用python進(jìn)行拆分大文件的方法

更新時(shí)間：2018年12月10日 08:42:44 作者：IBoyMan

今天小編就為大家分享一篇使用python進(jìn)行拆分大文件的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

python按指定行數(shù)把大文件進(jìn)行拆分

如圖大文件有7000多萬行，大小為16G

python進(jìn)行拆分大文件

需要拆分成多個(gè)200萬行的小文件

代碼如下：

# -*- coding:utf-8 -*-
from datetime import datetime
 
def Main():
 source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt'
 target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'
 
 # 計(jì)數(shù)器
 flag = 0
 
 # 文件名
 name = 1
 
 # 存放數(shù)據(jù)
 dataList = []
 
 print("開始。。。。。")
 print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
 
 with open(source_dir,'r') as f_source:
  for line in f_source:
   flag+=1
   dataList.append(line)
   if flag == 2000000:
    with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
     for data in dataList:
      f_target.write(data)
    name+=1
    flag = 0
    dataList = []
    
 # 處理最后一批行數(shù)少于200萬行的
 with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
  for data in dataList:
   f_target.write(data)
 
 print("完成。。。。。")
 print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
 
if __name__ == "__main__":
 Main()

結(jié)果如下：

python進(jìn)行拆分大文件

總共產(chǎn)生39個(gè)文件，最后一個(gè)文件行數(shù)760821，這樣就OK啦

經(jīng)測試16G文件所需時(shí)間如圖：不到兩分鐘

python進(jìn)行拆分大文件

以上這篇使用python進(jìn)行拆分大文件的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

pandas數(shù)據(jù)選?。篸f[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
這篇文章主要介紹了pandas數(shù)據(jù)選取：df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-04-04
Python文本處理簡單易懂方法解析
這篇文章主要介紹了Python文本處理簡單易懂方法解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-12-12
Python實(shí)現(xiàn)網(wǎng)絡(luò)通信的HTTP請求Socket編程Web爬蟲方法探索
隨著互聯(lián)網(wǎng)的不斷發(fā)展,Python作為一門多用途的編程語言,提供了強(qiáng)大的工具和庫來進(jìn)行網(wǎng)絡(luò)連接和通信,本文將深入探討Python中連接網(wǎng)絡(luò)的方法,包括HTTP請求、Socket編程、Web爬蟲和REST?API的使用
2024-01-01
Python檢測網(wǎng)站鏈接是否已存在
Python是一種解釋型、面向?qū)ο?、動態(tài)數(shù)據(jù)類型的高級程序設(shè)計(jì)語言。通過本文給大家介紹Python檢測網(wǎng)站鏈接是否已存在的相關(guān)內(nèi)容，需要的朋友一起學(xué)習(xí)吧
2016-04-04
Python實(shí)現(xiàn)截圖生成符合markdown的鏈接
之前是用的是typora來寫的文章，最近typora最近開始收費(fèi)了，所以就不想用了，于是找到了一個(gè)替代品MarkText。本文將介紹如何通過Python實(shí)現(xiàn)截圖自動生成符合markdown的鏈接，感興趣的可以了解一下
2022-01-01
深入了解如何基于Python讀寫Kafka
這篇文章主要介紹了深入了解如何基于Python讀寫Kafka,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-12-12
python 繪制斜率圖進(jìn)行對比分析
這篇文章主要介紹了python 繪制斜率圖進(jìn)行對比分析的實(shí)例，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
2021-03-03
python的sys.path模塊路徑添加方式
這篇文章主要介紹了python的sys.path模塊路徑添加方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-03-03
Python實(shí)現(xiàn)的字典值比較功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的字典值比較功能,可實(shí)現(xiàn)針對字典格式數(shù)據(jù)的判斷、比較功能,涉及Python字典格式數(shù)據(jù)的遍歷、判斷等相關(guān)操作技巧,需要的朋友可以參考下
2018-01-01
python實(shí)現(xiàn)不同文件夾下的函數(shù)相互調(diào)用
這篇文章主要介紹了python實(shí)現(xiàn)不同文件夾下的函數(shù)相互調(diào)用方式,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-08-08