MyException - 我的异常网
当前位置:我的异常网» 软件架构设计 » 2.xELK筹建

2.xELK筹建

www.MyException.Cn  网友分享于:2013-03-06  浏览:0次
2.xELK搭建

CentOS下使用ELK套件搭建日志分析和监控平台 图片看附件

1 概述

ELK套件(ELK stack)是指ElasticSearchLogstashKibana三件套。这三个软件可以组成一套日志分析和监控工具。

由于三个软件各自的版本号太多,建议采用ElasticSearch官网推荐的搭配组合:http://www.elasticsearch.org/overview/elkdownloads/

2 环境准备

2.1 软件要求

具体的版本要求如下:

  • 操作系统版本:CentOS 6.7
  • JDK版本:1.7.0
  • Logstash版本:1.4.2
  • ElasticSearch版本:1.4.2
  • Kibana版本:3.1.2

2.2 防火墙配置

首先安装jdk

yum安装JDK

1.查看yum库中都有哪些jdk版本(暂时只发现了openjdk)

[root@localhost ~]# yum search java|grep jdk
ldapjdk-javadoc.x86_64 : Javadoc for ldapjdk
java-1.6.0-openjdk.x86_64 : OpenJDK Runtime Environment
java-1.6.0-openjdk-demo.x86_64 : OpenJDK Demos
java-1.6.0-openjdk-devel.x86_64 : OpenJDK Development Environment
java-1.6.0-openjdk-javadoc.x86_64 : OpenJDK API Documentation
java-1.6.0-openjdk-src.x86_64 : OpenJDK Source Bundle
java-1.7.0-openjdk.x86_64 : OpenJDK Runtime Environment
java-1.7.0-openjdk-demo.x86_64 : OpenJDK Demos
java-1.7.0-openjdk-devel.x86_64 : OpenJDK Development Environment
java-1.7.0-openjdk-javadoc.noarch : OpenJDK API Documentation
java-1.7.0-openjdk-src.x86_64 : OpenJDK Source Bundle
java-1.8.0-openjdk.x86_64 : OpenJDK Runtime Environment
java-1.8.0-openjdk-demo.x86_64 : OpenJDK Demos
java-1.8.0-openjdk-devel.x86_64 : OpenJDK Development Environment
java-1.8.0-openjdk-headless.x86_64 : OpenJDK Runtime Environment
java-1.8.0-openjdk-javadoc.noarch : OpenJDK API Documentation
java-1.8.0-openjdk-src.x86_64 : OpenJDK Source Bundle
ldapjdk.x86_64 : The Mozilla LDAP Java SDK

2.选择版本,进行安装

//选择1.7版本进行安装
[root@localhost ~]# yum install java-1.8.0-openjdk
//
安装完之后,默认的安装目录是在: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.75.x86_64

3.设置环境变量

[root@localhost ~]# vi /etc/profile

profile文件中添加如下内容

#set java environment
JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75.x86_64
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

让修改生效

[root@localhost java]# source /etc/profile

检查jdk即可 java -version

 

为了正常使用HTTP服务等,需要关闭防火墙:

  1. # service iptables stop  

或者可以不关闭防火墙,但是要在iptables中打开相关的端口:

  1. # vim /etc/sysconfig/iptables  
  2. -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT  
  3. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT  
  4. -A INPUT -m state --state NEW -m tcp -p tcp --dport 9292 -j ACCEPT  
  5. # service iptables restart  
  •  

·         # 解压缩安装

·         useradd elk

·         su – elk

·        

·         tar -xvf elasticsearch-2.3.4.tar.gz

·        

·         cd elasticsearch-2.3.4

·         # 安装Head插件

·         ./bin/plugin install mobz/elasticsearch-head

·        

·         ls plugins/

·         # ls能看到head文件即可表示ok了。

·         [elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$ ll plugins/

·         总用量 4

·         drwxrwxr-x. 5 elk elk 4096 8  2 17:26 head

·        

·         [elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$vim config/elasticsearch.yml

·        

·         cluster.name: es_cluster

·         node.name: node0

·         path.data: /home/elk/data

·         path.logs: /home/elk/logs

·         # 当前的host ip地址

·         network.host: 192.168.121.62

·         network.port: 9200

·        

启动es

./bin/elasticsearch

 

 

 

 

ES 启动错误  解决方案  5.51版本

http://blog.csdn.net/u012371450/article/details/51776505

 

打开url地址http://192.168.0.65:9200/

访问

http://192.168.0.65:9200/_plugin/head/

 

 

 

 

安装logstash

 

logstash其实它就是一个 收集器 而已,我们需要为它指定InputOutput(当然InputOutput可以为多个)。由于我们需要把Java代码中Log4j的日志输出到ElasticSearch中,因此这里的Input就是Log4j,而Output就是ElasticSearch

 

结构图如E:\u\elk\pic\02.png所示:

 

 

 

 

 

安装配置:

 

# 解压缩安装

 

tar -xvf logstash-2.3.4.tar.gz

 

cd logstash-2.3.4

 

# 将配置文件放置在config文件夹下面

 

mkdir config

 

vim config/log4j_to_es.conf

 

# For detail structure of this file

 

# Set: https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html

 

input {

 

  # For detail config for log4j as input,

 

  # See: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html

 

  log4j {

 

    mode => "server"

 

    host => "192.168.121.62"  #本机IP

 

    port => 4567

 

  }

 

}

 

filter {

 

  #Only matched data are send to output.

 

}

 

output {

 

  # For detail config for elasticsearch as output,

 

  # See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html

 

  elasticsearch {

 

    action => "index"          #The operation on ES

 

    hosts  => "192.168.121.62:9200"  #ElasticSearch host, can be array.

 

    index  => "applog"        #The index to write data to.

 

  }

 

}

 

启动logstash2个参数一个是agent一个是配置文件:

 

[elk@hch_test_dbm1_121_62 logstash-2.3.4]$ ./bin/logstash  -f config/log4j_to_es.conf

 

Settings: Default pipeline workers: 32

 

log4j:WARN No appenders could be found for logger (org.apache.http.client.protocol.RequestAuthCache).

 

log4j:WARN Please initialize the log4j system properly.

 

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

 

Pipeline main started

 

接下来,可以使用logstash来收集日志并保存到es中了,可以使用一段java代码来实现它。记得关闭本机防火墙

文章评论

“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
鲜为人知的编程真相
鲜为人知的编程真相
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
漫画:程序员的工作
漫画:程序员的工作
老程序员的下场
老程序员的下场
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
 程序员的样子
程序员的样子
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
Java程序员必看电影
Java程序员必看电影
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
我是如何打败拖延症的
我是如何打败拖延症的
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
程序员的鄙视链
程序员的鄙视链
旅行,写作,编程
旅行,写作,编程
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
那些争议最大的编程观点
那些争议最大的编程观点
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
如何成为一名黑客
如何成为一名黑客
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
我的丈夫是个程序员
我的丈夫是个程序员
10个调试和排错的小建议
10个调试和排错的小建议
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
代码女神横空出世
代码女神横空出世
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
编程语言是女人
编程语言是女人
程序员必看的十大电影
程序员必看的十大电影
程序员都该阅读的书
程序员都该阅读的书
程序员和编码员之间的区别
程序员和编码员之间的区别
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
中美印日四国程序员比较
中美印日四国程序员比较
程序员应该关注的一些事儿
程序员应该关注的一些事儿
总结2014中国互联网十大段子
总结2014中国互联网十大段子
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有