Java读写大文本文件（2GB以上）


如下的程序，将一个行数为fileLines的文本文件平均分为splitNum个小文本文件，其中换行符'r'是linux上的，windows的java换行符是'\r\n'：

  1. package kddcup2012.task2.FileSystem;  
  2.   
  3. import java.io.BufferedInputStream;  
  4. import java.io.BufferedReader;  
  5. import java.io.File;  
  6. import java.io.FileInputStream;  
  7. import java.io.FileWriter;  
  8. import java.io.IOException;  
  9. import java.io.InputStreamReader;  
  10.   
  11. public class FileSplit  
  12. {     
  13.     public static void main(String[] args) throws IOException  
  14.     {  
  15.         long timer = System.currentTimeMillis();  
  16.         int bufferSize = 20 * 1024 * 1024;//设读取文件的缓存为20MB   
  17.           
  18.         //建立缓冲文本输入流   
  19.         File file = new File("/media/Data/毕业设计/kdd cup/数据/userid_profile.txt");  
  20.         FileInputStream fileInputStream = new FileInputStream(file);  
  21.         BufferedInputStream bufferedInputStream = new BufferedInputStream(fileInputStream);  
  22.         InputStreamReader inputStreamReader = new InputStreamReader(bufferedInputStream);  
  23.         BufferedReader input = new BufferedReader(inputStreamReader, bufferSize);  
  24.           
  25.         int splitNum = 112-1;//要分割的块数减一   
  26.         int fileLines = 23669283;//输入文件的行数   
  27.         long perSplitLines = fileLines / splitNum;//每个块的行数   
  28.         for (int i = 0; i <= splitNum; ++i)  
  29.         {  
  30.             //分割   
  31.             //每个块建立一个输出   
  32.             FileWriter output = new FileWriter("/home/haoqiong/part" + i + ".txt");  
  33.             String line = null;  
  34.             //逐行读取，逐行输出   
  35.             for (long lineCounter = 0; lineCounter < perSplitLines && (line = input.readLine()) != null; ++lineCounter)  
  36.             {  
  37.                 output.append(line + "\r");  
  38.             }  
  39.             output.flush();  
  40.             output.close();  
  41.             output = null;  
  42.         }  
  43.         input.close();  
  44.         timer = System.currentTimeMillis() - timer;  
  45.         System.out.println("处理时间：" + timer);  
  46.     }  
  47. }  

以上程序处理大文本文件只需要30MB左右的内存空间（这和所设的读取缓冲大小有关），但是速度不是很快，在磁盘没有其他程序占用的情况下，将200MB文件分割为112份需要20秒（机器配置：Centrino2 P7450 CPU，2GB DDR3内存，Ubuntu 11.10系统，硬盘最大读写速度大约60MB/S）。

另外，对于几百兆到2GB大小的文件，使用内存映射文件的话，速度会块一些，但是内存映射由于映射的文件长度不能超过java中int类型的最大值，所以只能处理2GB以下的文件。

相关内容