快捷導(dǎo)航

Java中使用內(nèi)存映射實(shí)現(xiàn)大文件上傳實(shí)例

更新時(shí)間：2015年01月14日 11:53:17 投稿：junjie

這篇文章主要介紹了Java中使用內(nèi)存映射實(shí)現(xiàn)大文件上傳實(shí)例,本文對(duì)比測(cè)試了FileInputStream 或者FileOutputStream 抑或RandomAccessFile的頻繁讀寫(xiě)操作,最后總結(jié)出映射到內(nèi)存后進(jìn)行讀寫(xiě)以提高速度,需要的朋友可以參考下

在處理大文件時(shí)，如果利用普通的FileInputStream 或者FileOutputStream 抑或RandomAccessFile 來(lái)進(jìn)行頻繁的讀寫(xiě)操作，都將導(dǎo)致進(jìn)程因頻繁讀寫(xiě)外存而降低速度.如下為一個(gè)對(duì)比實(shí)驗(yàn)。

復(fù)制代碼代碼如下:

package test;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class Test {

    public static void main(String[] args) {
        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=fis.read())>=0){
                    sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            BufferedInputStream bis=new BufferedInputStream(fis);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=bis.read())>=0){
                    sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        MappedByteBuffer buffer=null;
        try {
            buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            for(int i=0;i<1253244;i++){
                n=0x000000ff&buffer.get(i);
                sum+=n;
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

}

測(cè)試文件為一個(gè)大小為1253244字節(jié)的文件。測(cè)試結(jié)果：

復(fù)制代碼代碼如下:

sum:220152087 time:1464  

sum:220152087 time:72  

sum:220152087 time:25

說(shuō)明讀數(shù)據(jù)無(wú)誤。刪去其中的數(shù)據(jù)處理部分。

復(fù)制代碼代碼如下:

package test;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class Test {

    public static void main(String[] args) {
        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=fis.read())>=0){
                    //sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        try {
            FileInputStream fis=new FileInputStream("/home/tobacco/test/res.txt");
            BufferedInputStream bis=new BufferedInputStream(fis);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            try {
                while((n=bis.read())>=0){
                    //sum+=n;
                }
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        MappedByteBuffer buffer=null;
        try {
            buffer=new RandomAccessFile("/home/tobacco/test/res.txt","rw").getChannel().map(FileChannel.MapMode.READ_WRITE, 0, 1253244);
            int sum=0;
            int n;
            long t1=System.currentTimeMillis();
            for(int i=0;i<1253244;i++){
                //n=0x000000ff&buffer.get(i);
                //sum+=n;
            }
            long t=System.currentTimeMillis()-t1;
            System.out.println("sum:"+sum+" time:"+t);
        } catch (FileNotFoundException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

}

測(cè)試結(jié)果：

復(fù)制代碼代碼如下:

sum:0 time:1458  

sum:0 time:67  

sum:0 time:8

由此可見(jiàn)，將文件部分或者全部映射到內(nèi)存后進(jìn)行讀寫(xiě)，速度將提高很多。

這是因?yàn)閮?nèi)存映射文件首先將外存上的文件映射到內(nèi)存中的一塊連續(xù)區(qū)域，被當(dāng)成一個(gè)字節(jié)數(shù)組進(jìn)行處理，讀寫(xiě)操作直接對(duì)內(nèi)存進(jìn)行操作，而后再將內(nèi)存區(qū)域重新映射到外存文件，這就節(jié)省了中間頻繁的對(duì)外存進(jìn)行讀寫(xiě)的時(shí)間，大大降低了讀寫(xiě)時(shí)間。

您可能感興趣的文章: