MyException - 我的异常网
当前位置:我的异常网» 软件架构设计 » 异步导出excel报表(1)

异步导出excel报表(1)

www.MyException.Cn  网友分享于:2015-08-26  浏览:171次
异步导出excel表格(1)

        在现在的ERP系统中,数据库往往很大,批量导出几万甚至几十万条记录已经是很常见的事情。一般数据库里存在着上百万甚至上千万的数据,这种情况,对于一般的服务器,数据库查询时间要超过十分钟,对于复杂的查询操作,甚至几十分钟。这时对于客户端的请求,可能会等待很长时间才能返回响应。客户的感觉好像是系统没有响应。

       针对大数据处理问题,ERP系统一般采用异步处理方式。

       异步导出excel包括提交导出操作、处理导出操作、下载导出文件、定期删除生成的临时文件。

       系统中用到的框架:jxls(主要用于生成excel)、quartz(定时删除临时文件)

       用户请求操作流程基本如下:

        用户提交任务后,保存任务数据(方便用户查询任务处理状态)到数据库,提交线程到ExcecutorService里。我采用的是mysql数据库,经过测试,发现执行一条SQL语句会占用CPU一个线程,并且在处理过程中,系统占用率一般在95%。如果多个线程导出操作同时处理,会造成系统CPU占用过量,ERP系统本身响应变的很慢或处在假死的状态。因此,我采用Executors.newSingleThreadExecutor 线程池(这个线程保持同一时间只有一个线程在处理,其它的依次排队等待)处理导出线程。

任务PMD如下:



 

        数据获取类名、数据获取方法名、数据获取参数串三个字段主要用于处理系统在处理导出的过程中被异常关闭,下次系统启动时,会自动执行未执行完的操作。具体实现方法见后面章节。

        文件模板编码,用于标识模板文件,方便以后扩展,此例中暂时不使用。

        导出文件文件模板路径,主要保存excel模板的路径。

        数据与模板关联文件,保存jxls上面关联规则beansMap

        任务当前状态,任务状态:已提交、正处理、处理完成、处理失败。

        任务文件是否已删除,标识当前导出文件是否已经被quartz删除(可以设置时间,过期文件会被Job删除)。

        任务来源,标识属于哪类线程。

      

        任务处理完成后,用户可以请求系统下载文件。

        用户下载流程如下:


下载文件部分代码分享:

	public void downloadFile(HttpServletRequest request, HttpServletResponse response) {
		try {
		String filePath = request.getParameter("filePath");
		final String generateFilePrefix = request.getSession().getServletContext().getRealPath("/") + "export\\generate\\";
		File outputFile = new File(generateFilePrefix + filePath);
		long fileLength = outputFile.length();
		if(!outputFile.exists()){
			response.setCharacterEncoding( "GBK" );
			response.setContentType("text/html");
			response.getOutputStream().println(new String("找不到导出文件,请重新导出!".getBytes(), "ISO-8859-1") );
			response.getOutputStream().flush();
			response.getOutputStream().close();
			return;
		}
		response.setContentType("text/html;charset=UTF-8");
		response.setHeader("Content-Disposition", "attachment;filename=\""
						+ new String(filePath.getBytes("GBK"), "ISO-8859-1")
						+ "\"");
		response.setHeader("Content-Length", String.valueOf(fileLength));
		BufferedInputStream bis = null;
		BufferedOutputStream bos = null;
		bis = new BufferedInputStream(new FileInputStream(generateFilePrefix + filePath));
		bos = new BufferedOutputStream(response.getOutputStream());
		byte[] buff = new byte[2048];
		int bytesRead;
		while (-1 != (bytesRead = bis.read(buff, 0, buff.length))) { 
			bos.write(buff, 0, bytesRead);
		}
		bis.close();
		bos.close();
		} catch(IOException e) {
			e.printStackTrace();
			try {
				response.setCharacterEncoding( "GBK" );
				response.setContentType("text/html");
				response.getOutputStream().println(new String("导出失败!请联系管理员!".getBytes(), "ISO-8859-1") );
				response.getOutputStream().flush();
				response.getOutputStream().close();
			} catch(IOException ioe) {
				ioe.printStackTrace();
			}
			return;
		}
	}

  

文章评论

初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
旅行,写作,编程
旅行,写作,编程
如何成为一名黑客
如何成为一名黑客
我是如何打败拖延症的
我是如何打败拖延症的
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
漫画:程序员的工作
漫画:程序员的工作
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
我的丈夫是个程序员
我的丈夫是个程序员
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
每天工作4小时的程序员
每天工作4小时的程序员
程序员都该阅读的书
程序员都该阅读的书
总结2014中国互联网十大段子
总结2014中国互联网十大段子
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
编程语言是女人
编程语言是女人
鲜为人知的编程真相
鲜为人知的编程真相
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
老程序员的下场
老程序员的下场
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
那些争议最大的编程观点
那些争议最大的编程观点
为什么程序员都是夜猫子
为什么程序员都是夜猫子
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
 程序员的样子
程序员的样子
程序员必看的十大电影
程序员必看的十大电影
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
一个程序员的时间管理
一个程序员的时间管理
程序员和编码员之间的区别
程序员和编码员之间的区别
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
10个调试和排错的小建议
10个调试和排错的小建议
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
Java程序员必看电影
Java程序员必看电影
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有