快捷導(dǎo)航

Java文件下載ZIP報(bào)錯(cuò):Out of Memory的問(wèn)題排查

更新時(shí)間：2025年01月14日 11:23:11 作者：山林竹筍

本文主要介紹了Java項(xiàng)目中下載大文件（超過(guò)2G的ZIP文件）時(shí)出現(xiàn)內(nèi)存溢出（OutOfMemory:JavaHeapSpace）的問(wèn)題,具有一定的參考價(jià)值,感興趣的可以了解一下

 private void setByteArrayOutputStream(String fileName, InputStream inputStream, ZipArchiveOutputStream zous) {
       
      ByteArrayOutputStream baos = new ByteArrayOutputStream();
        byte[] buffer = new byte[1024];
        int len;
        while ((len = inputStream.read(buffer)) != -1) {
            baos.write(buffer, 0, len);
        }
        baos.flush();
        byte[] bytes = baos.toByteArray();
        //設(shè)置文件名
        ArchiveEntry entry = new ZipArchiveEntry(fileName);
        zous.putArchiveEntry(entry);
        zous.write(bytes);
        zous.closeArchiveEntry();
        baos.close();
}

細(xì)心的童鞋應(yīng)該已經(jīng)發(fā)現(xiàn)錯(cuò)誤了！

一、原因分析

原因分析主要與 ByteArrayOutputStream 的使用有關(guān)。ByteArrayOutputStream 會(huì)在內(nèi)存中動(dòng)態(tài)擴(kuò)展其緩沖區(qū)以容納寫(xiě)入的數(shù)據(jù)。當(dāng)寫(xiě)入大量數(shù)據(jù)時(shí)，尤其是在處理大文件時(shí)，可能會(huì)導(dǎo)致內(nèi)存頻繁分配和復(fù)制，從而消耗大量?jī)?nèi)存。大文件處理：如果輸入流（InputStream）讀取的數(shù)據(jù)量很大（如超過(guò)幾百M(fèi)B或GB），ByteArrayOutputStream 可能會(huì)消耗超過(guò)可用內(nèi)存的資源，導(dǎo)致 OutOfMemoryError。

在上述代碼中，邏輯如下：

（1）讀取數(shù)據(jù)：通過(guò) inputStream.read(buffer) 持續(xù)將數(shù)據(jù)讀取到緩沖區(qū) buffer 中。

（2）寫(xiě)入 ByteArrayOutputStream：每次讀取的數(shù)據(jù)都被寫(xiě)入到 ByteArrayOutputStream 中。如果文件非常大，ByteArrayOutputStream 將不斷擴(kuò)展其內(nèi)部數(shù)組。

（3）轉(zhuǎn)換為字節(jié)數(shù)組：調(diào)用 baos.toByteArray() 時(shí)，會(huì)創(chuàng)建一個(gè)新的字節(jié)數(shù)組并將所有數(shù)據(jù)復(fù)制到這個(gè)新數(shù)組中，這又需要額外的內(nèi)存。

二、解決方案

采用流式處理：直接從 InputStream 讀取并寫(xiě)入到 ZipArchiveOutputStream，而不使用 ByteArrayOutputStream。這樣可以避免將整個(gè)文件加載到內(nèi)存中。

代碼如下：

?private void setByteArrayOutputStream(String fileName, InputStream inputStream, ZipArchiveOutputStream zous) {
        //創(chuàng)建Zip入口
        try {
            ZipArchiveEntry entry = new ZipArchiveEntry(fileName);
            zous.putArchiveEntry(entry);

            //使用流緩沖區(qū)，一次1024字節(jié),分塊讀取并寫(xiě)入ZIP輸出流
            byte[] buffer = new byte[1024];
            int len;
            while ((len = inputStream.read(buffer)) != -1) {
                zous.write(buffer, 0, len);
            }
            //完成當(dāng)前ZIP入口
            zous.closeArchiveEntry();
        } catch (Exception ex) {
            ex.printStackTrace();
        } finally {
            //確保輸入流被關(guān)閉
            try {
                inputStream.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
    }

運(yùn)行之后，我們發(fā)現(xiàn)：不論多大的文件下載，不再報(bào)錯(cuò)內(nèi)存溢出了。但對(duì)于超過(guò)了4G的文件，在形成ZIP包時(shí)，出現(xiàn)了其他錯(cuò)誤，如下：

org.apache.commons.compress.archivers.zip.Zip64RequiredException: XXXXXXXXXXXXXXXXXXXXXXXXXXXX's size exceeds the limit of 4GByte.
	at org.apache.commons.compress.archivers.zip.ZipArchiveOutputStream.checkIfNeedsZip64(ZipArchiveOutputStream.java:651)
	at org.apache.commons.compress.archivers.zip.ZipArchiveOutputStream.handleSizesAndCrc(ZipArchiveOutputStream.java:638)
	at org.apache.commons.compress.archivers.zip.ZipArchiveOutputStream.closeArchiveEntry(ZipArchiveOutputStream.java:513)

原因分析：

這個(gè)異常通常是在嘗試創(chuàng)建一個(gè) ZIP 文件時(shí)遇到的，特別是當(dāng)文件的大小超過(guò) 4GB 時(shí)。ZIP 格式的標(biāo)準(zhǔn)限制了單個(gè)文件的大小為 4GB，因此在處理大文件時(shí)需要使用 ZIP64 格式。我們?cè)诖a里添加如下：

zous.setUseZip64(ZipArchiveOutputStream.Zip64Mode.Always); // 啟用 ZIP64 支持
或者（不同版本，函數(shù)不一樣）
zous.setUseZip64(Zip64Mode.Always);

按照以上改完之后，我們發(fā)現(xiàn)文件下載ZIP完全沒(méi)有內(nèi)存溢出錯(cuò)誤了。

到此這篇關(guān)于Java文件下載ZIP報(bào)錯(cuò):Out of Memory的問(wèn)題排查的文章就介紹到這了,更多相關(guān)Java文件下載ZIP報(bào)錯(cuò)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: