Java一次性查询几十万几百万数据解决办法

Java查询一次性查询几十万，几百万数据解决办法。

很早的时候写工具用的一个办法，当时是用来把百万数据打包成rar文件。

所以用了个笨办法。 希望高手指导一下，有什么好方法没有啊。

  1. 先批量查出所有数据，例子中是一万条一批。
  2. 在查出数据之后把每次的数据按一定规则存入本地文件。
  3. 获取数据时，通过批次读取，获得大批量数据。此方法参见：http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/

以下是查询数据库。按批次查询

 
 
 
    
  
  
  
  1. public static void  getMonthDataList() { 
    2. 
  
  
  
  2.         ResultSet rs = null; 
    3. 
  
  
  
  3.         Statement stat = null; 
    4. 
  
  
  
  4.         Connection conn = null; 
    5. 
  
  
  
  5.         List list = new ArrayList(); 
    6. 
  
  
  
  6.         try { 
    7. 
  
  
  
  7.             conn = createConnection(); 
    8. 
  
  
  
  8.             if(conn!=null){ 
    9. 
  
  
  
  9.                 SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); 
    10. 
  
  
  
  10.                 SimpleDateFormat timesdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); 
    11. 
  
  
  
  11.                 String nowDate = sdf.format(new Date()); 
    12. 
  
  
  
  12.                 Config.lasttimetext = timesdf.format(new Date()); 
    13. 
  
  
  
  13.                 String lastDate = sdf.format(CreateData.addDaysForDate(new Date(), 30)); 
    14. 
  
  
  
  14.                 stat = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,ResultSet.CONCUR_UPDATABLE); 
    15. 
  
  
  
  15.                 int lastrow = 0; 
    16. 
  
  
  
  16.                 int datanum = 0; 
    17. 
  
  
  
  17.                 String countsql = "SELECT count(a.id) FROM trip_special_flight a" + 
    18. 
  
  
  
  18.                 " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " + 
    19. 
  
  
  
  19.                 "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd') and rownum>"+lastrow+" order by a.get_time  desc"; 
    20. 
  
  
  
  20.                 rs = stat.executeQuery(countsql); 
    21. 
  
  
  
  21.                 while (rs.next()) { 
    22. 
  
  
  
  22.                     datanum = rs.getInt(1); 
    23. 
  
  
  
  23.                 } 
    24. 
  
  
  
  24.                 int onerun = 10000; 
    25. 
  
  
  
  25.                 int runnum = datanum%onerun==0?(datanum/onerun):(datanum/onerun)+1; 
    26. 
  
  
  
  26.                 for(int r =0;r
  
  
  
  27.                     System.out.println("getMonthDataList--"+datanum+" 开始查询第"+(r+1)+"批数据"); 
    28. 
  
  
  
  28.                     String sql = "SELECT * FROM  (SELECT rownum rn, a.dpt_code, a.arr_code,a.dpt_date,a.airways,a.flight," + 
    29. 
  
  
  
  29.                     "a.cabin,a.price FROM trip_special_flight a" + 
    30. 
  
  
  
  30.                     " where a.dpt_date >= to_date('"+nowDate+"','yyyy-mm-dd') " + 
    31. 
  
  
  
  31.                     "and a.dpt_date <= to_date('"+lastDate+"','yyyy-mm-dd')  order by rownum  asc) WHERE rn > "+lastrow; 
    32. 
  
  
  
  32.                     stat.setMaxRows(onerun); 
    33. 
  
  
  
  33.                     stat.setFetchSize(1000); 
    34. 
  
  
  
  34.                     rs = stat.executeQuery(sql); 
    35. 
  
  
  
  35.                     String text = ""; 
    36. 
  
  
  
  36.                     int i = 1; 
    37. 
  
  
  
  37.                     while (rs.next()) { 
    38. 
  
  
  
  38.                         text += rs.getString(2)+"|"+rs.getString(3)+"|"+rs.getDate(4)+"|"+rs.getString(5)+"|"+rs.getString(6)+"|"+rs.getString(7)+"|"+rs.getString(8)+"||"; 
    39. 
  
  
  
  39.                         if(i%1000==0){ 
    40. 
  
  
  
  40.                             FileUtil.appendToFile(Config.tempdatafile, text); 
    41. 
  
  
  
  41.                             text = ""; 
    42. 
  
  
  
  42.                         } 
    43. 
  
  
  
  43.                         i++; 
    44. 
  
  
  
  44.                     } 
    45. 
  
  
  
  45.                     if(text.length()>10){ 
    46. 
  
  
  
  46.                         FileUtil.appendToFile(Config.tempdatafile, text); 
    47. 
  
  
  
  47.                     } 
    48. 
  
  
  
  48.                     lastrow+=onerun; 
    49. 
  
  
  
  49.                 } 
    50. 
  
  
  
  50.             } 
    51. 
  
  
  
  51.         } catch (Exception e) { 
    52. 
  
  
  
  52.             e.printStackTrace(); 
    53. 
  
  
  
  53.         } finally { 
    54. 
  
  
  
  54.             closeAll(rs, stat, conn); 
    55. 
  
  
  
  55.         } 
    56. 
  
  
  
  56. 
  
  
  
  57.     }
    58.

-----java一次性查询几十万，几百万数据解决办法

存入临时文件之后，再用读取大量数据文件方法。

设置缓存大小BUFFER_SIZE ，Config.tempdatafile是文件地址。

来源博客 http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/

 
 
 
    
  
  
  
  1. package com.yjf.util; 
    2. 
  
  
  
  2. import java.io.File; 
    3. 
  
  
  
  3. import java.io.RandomAccessFile; 
    4. 
  
  
  
  4. import java.nio.MappedByteBuffer; 
    5. 
  
  
  
  5. import java.nio.channels.FileChannel; 
    6. 
  
  
  
  6. 
  
  
  
  7. public class Test { 
    8. 
  
  
  
  8.     public static void main(String[] args) throws Exception { 
    9. 
  
  
  
  9.         final int BUFFER_SIZE = 0x300000; // 缓冲区为3M 
    10. 
  
  
  
  10.         File f = new File(Config.tempdatafile); 
    11. 
  
  
  
  11.  //  来源博客http://yijianfengvip.blog.163.com/blog/static/175273432201191354043148/ 
    12. 
  
  
  
  12.         int len = 0; 
    13. 
  
  
  
  13.         Long start = System.currentTimeMillis(); 
    14. 
  
  
  
  14.         for (int z = 8; z >0; z--) { 
    15. 
  
  
  
  15.             MappedByteBuffer inputBuffer = new RandomAccessFile(f, "r") 
    16. 
  
  
  
  16.                     .getChannel().map(FileChannel.MapMode.READ_ONLY, 
    17. 
  
  
  
  17.                             f.length() * (z-1) / 8, f.length() * 1 / 8); 
    18. 
  
  
  
  18.             byte[] dst = new byte[BUFFER_SIZE];// 每次读出3M的内容 
    19. 
  
  
  
  19.             for (int offset = 0; offset < inputBuffer.capacity(); offset += BUFFER_SIZE) { 
    20. 
  
  
  
  20.                 if (inputBuffer.capacity() - offset >= BUFFER_SIZE) { 
    21. 
  
  
  
  21.                     for (int i = 0; i < BUFFER_SIZE; i++) 
    22. 
  
  
  
  22.                         dst[i] = inputBuffer.get(offset + i); 
    23. 
  
  
  
  23.                 } else { 
    24. 
  
  
  
  24.                     for (int i = 0; i < inputBuffer.capacity() - offset; i++) 
    25. 
  
  
  
  25.                         dst[i] = inputBuffer.get(offset + i); 
    26. 
  
  
  
  26.                 } 
    27. 
  
  
  
  27.                 int length = (inputBuffer.capacity() % BUFFER_SIZE == 0) ? BUFFER_SIZE 
    28. 
  
  
  
  28.                         : inputBuffer.capacity() % BUFFER_SIZE; 
    29. 
  
  
  
  29.                 len += new String(dst, 0, length).length(); 
    30. 
  
  
  
  30.                 System.out.println(new String(dst, 0, length).length()+"-"+(z-1)+"-"+(8-z+1)); 
    31. 
  
  
  
  31.             } 
    32. 
  
  
  
  32.         } 
    33. 
  
  
  
  33.         System.out.println(len); 
    34. 
  
  
  
  34.         long end = System.currentTimeMillis(); 
    35. 
  
  
  
  35.         System.out.println("读取文件文件花费：" + (end - start) + "毫秒"); 
    36. 
  
  
  
  36.     } 
    37. 
  
  
  
  37. 
  
  
  
  38. }
    39.

读取大量数据文件方法。

本文名称：Java一次性查询几十万几百万数据解决办法
转载来于：http://www.hantingmc.com/qtweb/news11/474361.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

商城网站知识

各行业网站

网站制作公司　　 　营山网站建设　　 　软文发布平台　　 　子晨木包装箱　　 　广告品牌策划设计　　 　成都免费网站建设　　 　成都app制作　　 　渠县网站建设　　 　四川胜锦安防　　 　古蔺网站建设　　 　成都服务器租用　　 　营销网站定位　　 　广汉锦华　　 　重庆水土双线托管　　 　网站解决方案　　 　成都APP定制开发　　 　九针服饰　　 　德阳机房　　 　乐山网站建设　　 　成都小程序制作