MyException - 我的异常网
当前位置:我的异常网» 开源软件 » flume 接合spark streaming

flume 接合spark streaming

www.MyException.Cn  网友分享于:2018-05-16  浏览:0次
flume 对接spark streaming

1.flume对接kafka的两种方式:pull 和 push 流程如下:



 

 

2.两者的区别



 

3.使用pull方式可能遇到的问题:

本地测试环境:

  • spark 2.3
  • flume 1.8

   使用pull方式,flume报错如下:

  (官网上存在这个bug,尚未修复:https://issues.apache.org/jira/browse/SPARK-17152)

 

java.lang.IllegalStateException: begin() called when transaction is OPEN!
 

 

网上的解决方法:

这个报错是因为scala版本问题造成,把flume lib下的scala-library版本替换掉即可(亲测,好用)


 

 

 

文章评论

软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有