MyException - 我的异常网
当前位置:我的异常网» 操作系统 » Ubuntu 筹建ELK日志分析系统(Elasticsearch+Logstas

Ubuntu 筹建ELK日志分析系统(Elasticsearch+Logstash+Kibana)

www.MyException.Cn  网友分享于:2013-09-19  浏览:0次
Ubuntu 搭建ELK日志分析系统(Elasticsearch+Logstash+Kibana)
事先安装好 JDK环境
下载jdk安装包:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
1.安装依赖包jdk8:
#sudo mkdir /usr/lib/jvm
#tar xvzf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm/
#vim ~/.bashrc
在文档最下部追加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH


执行:source ~/.bashrc

执行java -version和java,有相应数据即安装完成。


下载ELK安装包:https://www.elastic.co/downloads/


------------------------------------------------------------------------



1
#tar xvzf logstash-2.3.3.tar.gz
在logstash-2.3.3目录下创建logstash-test.conf配置文件,内容如下:

# cat logstash-test.conf
 
input { stdin { } }
output {
   stdout { codec=> rubydebug }
}

Logstash使用input和output定义收集日志时的输入和输出的相关配置,本例中input定义了一个叫"stdin"的input,output定义一个叫"stdout"的output。无论我们输入什么字符,Logstash都会按照某种格式来返回我们输入的字符,其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。

使用如下命令启动:

# ./bin/logstash agent -f logstash-test.conf
启动后,你在屏幕上输入什么内容,就会在console里显示出来。如输入"hello".
显示对应json内容则成功。



安装elasticsearch:


#tar xvzf elasticsearch-2.3.3.tar.gz
修改配置文件,允许远程访问:



cd elasticsearch-2.3.3/config
vim elasticsearch.yml
修改network栏为:
network.host 0.0.0.0


启动elasticsearch:


# ./bin/elasticsearch -d #-d为后台启动


访问访问http://<elasticsearch-ip>:9200
有数据说明成功


安装elasticsearch插件head:


# cd elasticsearch-2.3.3
# ./bin/plugin install mobz/elasticsearch-head


访问http://www.wwaattssuunn.com/<elasticsearch-ip>:9200/_plugin/head

有页面说明成功




测试elasticsearch与logstash是否能链接成功:

在logstash-2.3.3安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中,内容如下:


[logstash-es-simple.conf]
 
input { stdin { } }
output {
   elasticsearch {hosts => "localhost" }
   stdout { codec=> rubydebug }
}
 
# hosts为elasticsearch的主机,这里两者在同一机器上
启动:

1
# ./bin/logstash agent -f logstash-es-simple.conf


打开http://www.wwaattssuunn.com/<elasticsearch-ip>:9200/_search?pretty
可看到数据

4.安装kibana:

1
# tar xvzf kibana-4.5.1-linux-x64.tar.gz
启动:

1
2
# cd kibana-4.5.1-linux-x64
# ./bin/kibana

访问http://<ip>:5601 后创建索引即可

点击“Discover”选项卡,可以搜索和浏览elasticsearch中的数据,默认搜索最近15分钟的数据,也可以自定义。
1 楼 孔已己 2017-08-25  
我这里也想搞个日志分析和预警系统!
2 楼 沈寅麟 2017-09-04  
孔已己 写道
我这里也想搞个日志分析和预警系统!

      ELK就是最佳解决方案!

文章评论

要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
 程序员的样子
程序员的样子
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
10个调试和排错的小建议
10个调试和排错的小建议
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
程序员必看的十大电影
程序员必看的十大电影
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
程序员的鄙视链
程序员的鄙视链
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
一个程序员的时间管理
一个程序员的时间管理
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
程序员和编码员之间的区别
程序员和编码员之间的区别
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
编程语言是女人
编程语言是女人
程序员应该关注的一些事儿
程序员应该关注的一些事儿
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
我是如何打败拖延症的
我是如何打败拖延症的
程序员都该阅读的书
程序员都该阅读的书
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
中美印日四国程序员比较
中美印日四国程序员比较
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
鲜为人知的编程真相
鲜为人知的编程真相
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
漫画:程序员的工作
漫画:程序员的工作
旅行,写作,编程
旅行,写作,编程
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
为什么程序员都是夜猫子
为什么程序员都是夜猫子
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
老程序员的下场
老程序员的下场
我的丈夫是个程序员
我的丈夫是个程序员
那些争议最大的编程观点
那些争议最大的编程观点
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
总结2014中国互联网十大段子
总结2014中国互联网十大段子
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有