老司机常用的kafka监控-eagle
16lz
2021-03-19
老司机常用的kafka监控-eagle
浪尖 浪尖聊大数据
前面有文章说到了一个叫kafka manager的kafka管理工具,这个工具管理kafka确实很强大,但是没有安全认证,随便都可以创建,删除,修改topic,而且告警系统,流量波动做的不好。所以,在这里浪尖,再给大家推荐一款kafka 的告警监控管理工具,kafka-eagle。
kafka-eagle主要是有几个我们关注 但kafkamanager不存在的点,值得一提:
流量,最长可以查看最近七天的流量波动图
lag size邮件告警
- 可以用kafkasql分析
1.下载解压
直接下载压缩包
http://download.smartloli.org/
源码地址
https://github.com/smartloli/kafka-eagle
建议直接下载压缩包,而不是使用源码编译,编译过程中容易出错。有兴趣的可以下载源码阅读一下。
解压
tar -zxf ~/Downloads/kafka-eagle-bin-1.2.4.tar.gz -C ./
给文件加充命名为kafka-eagle。
2. 配置
配置环境变量。
vi /etc/profileexport KE_HOME=/opt/hadoop/kafka-eagleexport PATH=$PATH:$KE_HOME/bin
3. 配置system-config.properties
浪尖这里运行了多个kafka版本,以此测试多版本多集群,具体配置方式可以参考下面配置。
####################################### multi zookeeper&kafka cluster list######################################kafka.eagle.zk.cluster.alias=cluster1,cluster2cluster1.zk.list=localhost:2181/kafka010cluster2.zk.list=localhost:2181/kafka082####################################### zk client thread limit######################################kafka.zk.limit.size=25####################################### kafka eagle webui port######################################kafka.eagle.webui.port=8048####################################### kafka offset storage######################################cluster1.kafka.eagle.offset.storage=kafkacluster2.kafka.eagle.offset.storage=zookeeper####################################### enable kafka metrics######################################kafka.eagle.metrics.charts=false####################################### alarm email configure######################################kafka.eagle.mail.enable=falsekafka.eagle.mail.sa=alert_sakafka.eagle.mail.username=alert_sa@163.comkafka.eagle.mail.password=mqslimczkdqabbbhkafka.eagle.mail.server.host=smtp.163.comkafka.eagle.mail.server.port=25####################################### delete kafka topic token######################################kafka.eagle.topic.token=keadmin####################################### kafka sasl authenticate######################################kafka.eagle.sasl.enable=falsekafka.eagle.sasl.protocol=SASL_PLAINTEXTkafka.eagle.sasl.mechanism=PLAIN####################################### kafka jdbc driver address#######################################kafka.eagle.driver=com.mysql.jdbc.Driver#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull#kafka.eagle.username=root#kafka.eagle.password=mt2018@#kafka.eagle.driver=org.sqlite.JDBCkafka.eagle.url=jdbc:sqlite:/opt/hadoop/kafka-eagle/db/ke.dbkafka.eagle.username=rootkafka.eagle.password=smartloli
启动运行
在启动运行之前要做下面一步,
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_171.jdk/Contents/Home
否则,会报错误如下:
正式启动kafka-eagle
bin/ke.sh start
启动成功之后,会有如下日志,注意红框处。
打开浏览器,输入上面截图红框处提示的url
点击登陆之后进入
具体使用,可以参考手册
https://ke.smartloli.org/1.Overview/1.Overview.html
©著作权归作者所有:来自51CTO博客作者mob604756ed02fe的原创作品,如需转载,请注明出处,否则将追究法律责任每一份赞赏源于懂得
赞赏
0人进行了赞赏支持
更多相关文章
- AIOps 如何优雅服务应用运维?看民生银行智能运维实践与探索
- 入门大数据必读
- 3,Structured Streaming使用checkpoint进行故障恢复
- 成为大数据高手的活法-晚上复盘
- oracle如何处理行锁
- blink解决的一个flink分析痛点
- 注定不平凡的2019~~
- 重要|Spark driver端得到executor返回值的方法
- Spark Core读取ES的分区问题分析