MyException - 我的异常网
当前位置:我的异常网» 软件架构设计 » Logstash 入门 学习 (1)

Logstash 入门 学习 (1)

www.MyException.Cn  网友分享于:2013-11-23  浏览:0次
Logstash 入门 学习 (一)

Logstash简介

 

Logstash是一个具有实时流水线功能的开源数据收集引擎。Logstash可以动态统一来自不同来源的数据,并将数据规范化到您选择的目的地。清理和民主化所有数据,用于各种先进的下游分析和可视化用例。

 

尽管Logstash最初推动了日志收集方面的创新,但其功能远远超出了该用例。任何类型的事件都可以通过大量的输入,过滤和输出插件进行丰富和转换,其中许多本地编解码器进一步简化了接收过程。Logstash通过利用更大的数据量和各种数据来加速您的见解。

 

Logstash 功能

 

  1. 具有强大Elasticsearch和Kibana协同功能的水平可伸缩数据处理流水线
  2. 社区可扩展和开发友好的插件生态系统

    超过200个可用的插件,以及创建和贡献自己的灵活性



 

日志

 

  • 处理所有类型的日志记录数据

    • 轻松获取大量网络日志(如Apache)以及像log4j for Java的 应用程序日志
    • 捕获许多其他日志格式,如系统日志,网络和防火墙日志,等等
  • 使用Filebeat享受互补的安全日志转发功能
  • 通过TCP和UDP 从Ganglia,collectd, NetFlow,JMX和许多其他基础架构和应用程序平台收集指标

Web

 

  • 将HTTP请求转换成事件

    • 从Twitter等Web服务消费者中进行社交情绪分析
    • Webhook支持GitHub,HipChat,JIRA和其他无数的应用程序
    • 启用许多观察器警报用例
  • 通过按需轮询HTTP端点来 创建事件

    • 通用地从Web应用程序界面捕获健康状况,性能,指标和其他类型的数据
    • 适用于轮询控制优于接收的情况

数据存储

  • 使用JDBC接口更好地理解来自任何关系数据库或NoSQL存储的数据
  • 统一来自消息队列的不同数据流,如Apache Kafka, RabbitMQ和Amazon SQS

传感器和物联网

 

 

  • 在这个技术进步的时代,海量的物联网世界通过捕捉和利用来自连接的传感器的数据释放无数的用例。
  • Logstash是用于摄取从移动设备发送到智能家庭,连接车辆,医疗传感器以及许多其他行业特定应用的数据的常见事件收集中枢。

在摄取过程中清理并转换以便在索引或输出时刻立即获得近乎实时的信息。Logstash提供了许多聚合和突变以及模式匹配,地理映射和动态查找功能。

 

 

  • Grok是Logstash过滤器的面包和黄油,并且无处不在地用于从非结构化数据中派生出结构。享受丰富的集成模式,旨在帮助快速解决Web,系统,网络和其他类型的事件格式。
  • 通过解析来自IP地址的地理坐标,规范 日期复杂性,简化键值对和 CSV数据,指纹(匿名)敏感信息以及通过本地查找或Elasticsearch 查询进一步丰富您的数据,从而扩展您的视野。
  • 编解码器通常用于简化JSON 和多行事件等常见事件结构的处理。

分析器

 

  • Elasticsearch
  • 数据存储,如MongoDB和Riak

 

持久存档

  • HDFS
  • S3

 

监控

 

  • Nagios
  • Ganglia
  • Zabbix
  • Graphite
  • Datadog
  • CloudWatch

 

报警

  • Watcher with Elasticsearch
  • Email
  • Pagerduty
  • IRC
  • SNS

 

 

 

 

 

 

 

 

文章评论

一个程序员的时间管理
一个程序员的时间管理
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
10个调试和排错的小建议
10个调试和排错的小建议
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
程序员和编码员之间的区别
程序员和编码员之间的区别
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
为什么程序员都是夜猫子
为什么程序员都是夜猫子
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
总结2014中国互联网十大段子
总结2014中国互联网十大段子
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
 程序员的样子
程序员的样子
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
鲜为人知的编程真相
鲜为人知的编程真相
程序员的鄙视链
程序员的鄙视链
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
代码女神横空出世
代码女神横空出世
如何成为一名黑客
如何成为一名黑客
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
程序员都该阅读的书
程序员都该阅读的书
旅行,写作,编程
旅行,写作,编程
我的丈夫是个程序员
我的丈夫是个程序员
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
编程语言是女人
编程语言是女人
程序员必看的十大电影
程序员必看的十大电影
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
中美印日四国程序员比较
中美印日四国程序员比较
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
我是如何打败拖延症的
我是如何打败拖延症的
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
那些争议最大的编程观点
那些争议最大的编程观点
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
老程序员的下场
老程序员的下场
程序员应该关注的一些事儿
程序员应该关注的一些事儿
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有