快捷導(dǎo)航

Python如何將大TXT文件分割成4KB小文件

更新時(shí)間：2025年04月15日 14:36:04 作者：程序員總部

處理大文本文件是程序員經(jīng)常遇到的挑戰(zhàn),特別是當(dāng)我們需要把一個(gè)幾百M(fèi)B甚至幾個(gè)GB的TXT文件分割成小塊時(shí),下面我們來(lái)聊聊如何用Python自動(dòng)完成這個(gè)任務(wù)吧

處理大文本文件是程序員經(jīng)常遇到的挑戰(zhàn)。特別是當(dāng)我們需要把一個(gè)幾百M(fèi)B甚至幾個(gè)GB的TXT文件分割成小塊時(shí)，手動(dòng)操作顯然不現(xiàn)實(shí)。今天我們就來(lái)聊聊如何用Python自動(dòng)完成這個(gè)任務(wù)，特別是如何精確控制每個(gè)分割文件的大小為4KB。

為什么需要分割TXT文件

在實(shí)際開發(fā)中，我們可能會(huì)遇到這些情況：

某些老舊系統(tǒng)只能處理小體積文本文件
需要將日志文件分割后上傳到云存儲(chǔ)
進(jìn)行分布式處理時(shí)需要將數(shù)據(jù)分片
調(diào)試時(shí)需要用小文件快速測(cè)試

4KB是個(gè)很常用的分割尺寸，因?yàn)樗檬呛芏嘞到y(tǒng)默認(rèn)的內(nèi)存頁(yè)大小，處理起來(lái)效率很高。那么問(wèn)題來(lái)了：怎么用Python實(shí)現(xiàn)這個(gè)需求呢？

基礎(chǔ)版：按行分割

我們先來(lái)看一個(gè)最簡(jiǎn)單的實(shí)現(xiàn)方式：

def split_by_line(input_file, output_prefix, chunk_size=4000):
    with open(input_file, 'r', encoding='utf-8') as f:
        file_count = 1
        current_size = 0
        output_file = None
        
        for line in f:
            line_size = len(line.encode('utf-8'))
            
            if current_size + line_size > chunk_size:
                if output_file:
                    output_file.close()
                output_file = open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8')
                file_count += 1
                current_size = 0
                
            if not output_file:
                output_file = open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8')
                file_count += 1
                
            output_file.write(line)
            current_size += line_size
            
        if output_file:
            output_file.close()

這個(gè)腳本可以按行分割文件，盡量保證每個(gè)文件不超過(guò)指定大小。但是有個(gè)問(wèn)題：它不能精確控制文件大小正好是4KB，特別是當(dāng)某一行特別長(zhǎng)時(shí)，單個(gè)文件可能會(huì)超過(guò)限制。

進(jìn)階版：精確控制文件大小

要實(shí)現(xiàn)更精確的控制，我們需要按字節(jié)而不是按行來(lái)處理：

def split_by_size(input_file, output_prefix, chunk_size=4096):
    with open(input_file, 'rb') as f:
        file_count = 1
        while True:
            chunk = f.read(chunk_size)
            if not chunk:
                break
            with open(f"{output_prefix}_{file_count}.txt", 'wb') as out_file:
                out_file.write(chunk)
            file_count += 1

注意！這里我們用二進(jìn)制模式(‘rb’)打開文件，這樣可以精確控制讀取的字節(jié)數(shù)。但是這樣可能會(huì)在UTF-8編碼的中文文件中出現(xiàn)亂碼，因?yàn)橐粋€(gè)中文字符可能被從中間截?cái)唷?/p>

完美解決方案：支持UTF-8編碼

為了解決中文亂碼問(wèn)題，我們需要更智能的處理方式：

def split_utf8_safely(input_file, output_prefix, chunk_size=4096):
    buffer = ""
    file_count = 1
    current_size = 0
    
    with open(input_file, 'r', encoding='utf-8') as f:
        while True:
            char = f.read(1)
            if not char:
                if buffer:
                    with open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8') as out_file:
                        out_file.write(buffer)
                break
                
            char_size = len(char.encode('utf-8'))
            if current_size + char_size > chunk_size:
                with open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8') as out_file:
                    out_file.write(buffer)
                file_count += 1
                buffer = ""
                current_size = 0
                
            buffer += char
            current_size += char_size

這個(gè)方法逐個(gè)字符讀取文件，確保不會(huì)截?cái)喽嘧止?jié)字符。雖然速度會(huì)慢一些，但能保證分割后的文件都能正常顯示中文內(nèi)容。

性能優(yōu)化：使用緩沖區(qū)

處理大文件時(shí)，逐個(gè)字符讀取效率太低。我們可以用緩沖區(qū)來(lái)提升性能：

def split_with_buffer(input_file, output_prefix, chunk_size=4096, buffer_size=1024):
    buffer = ""
    file_count = 1
    current_size = 0
    
    with open(input_file, 'r', encoding='utf-8') as f:
        while True:
            chunk = f.read(buffer_size)
            if not chunk:
                if buffer:
                    with open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8') as out_file:
                        out_file.write(buffer)
                break
                
            buffer += chunk
            while len(buffer.encode('utf-8')) >= chunk_size:
                # 找到不超過(guò)chunk_size的最大子串
                split_pos = 0
                for i in range(1, len(buffer)+1):
                    if len(buffer[:i].encode('utf-8')) <= chunk_size:
                        split_pos = i
                    else:
                        break
                        
                with open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8') as out_file:
                    out_file.write(buffer[:split_pos])
                file_count += 1
                buffer = buffer[split_pos:]
                current_size = 0

處理特殊情況

實(shí)際應(yīng)用中我們還需要考慮一些特殊情況：

文件頭處理：如果需要保留原文件的頭信息到每個(gè)分割文件
行完整性：某些場(chǎng)景下需要保持行的完整性
內(nèi)存限制：處理超大文件時(shí)的內(nèi)存優(yōu)化
進(jìn)度顯示：添加進(jìn)度條讓長(zhǎng)時(shí)間運(yùn)行的任務(wù)更友好

這里給出一個(gè)保留文件頭的實(shí)現(xiàn)示例：

def split_with_header(input_file, output_prefix, chunk_size=4096, header_lines=1):
    # 先讀取文件頭
    with open(input_file, 'r', encoding='utf-8') as f:
        header = [next(f) for _ in range(header_lines)]
    
    buffer = ""
    file_count = 1
    current_size = len(''.join(header).encode('utf-8'))
    
    with open(input_file, 'r', encoding='utf-8') as f:
        # 跳過(guò)已經(jīng)讀取的文件頭
        for _ in range(header_lines):
            next(f)
            
        while True:
            char = f.read(1)
            if not char:
                if buffer:
                    with open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8') as out_file:
                        out_file.writelines(header)
                        out_file.write(buffer)
                break
                
            char_size = len(char.encode('utf-8'))
            if current_size + char_size > chunk_size:
                with open(f"{output_prefix}_{file_count}.txt", 'w', encoding='utf-8') as out_file:
                    out_file.writelines(header)
                    out_file.write(buffer)
                file_count += 1
                buffer = ""
                current_size = len(''.join(header).encode('utf-8'))
                
            buffer += char
            current_size += char_size