微信号:infoqchina

介绍:有内容的技术社区媒体

集群状态快速查看工具,Yahoo开源Kafka集群管理器Kafka Manager

2015-02-11 11:58 InfoQ




作为一个分布式的消息发布-订阅系统,Apache Kafka在Yahoo内部已经被很多团队所使用,例如媒体分析团队就将其应用到了实时分析流水线中,同时,Yahoo整个Kafka集群处理的峰值带宽超过了20Gbps(压缩数据)。为了让开发者和服务工程师能够更加简单地维护Kafka集群,Yahoo构建了一个基于Web的管理工具,称为Kafka Manager,日前该项目已经在GitHub上开源


通过Kafka Manager用户能够更容易地发现集群中哪些主题或者分区分布不均匀,同时能够管理多个集群,能够更容易地检查集群的状态,能够创建主题,执行首选的副本选择,能够基于集群当前的状态生成分区分配,并基于生成的分配执行分区的重分配,此外,Kafka Manager还是一个非常好的可以快速查看集群状态的工具。


Kafka Manager使用Scala语言编写,其Web控制台基于Play Framework实现,除此之外,Yahoo还迁移了一些Apache Kafka的帮助程序以便能够与Apache Curator框架一起工作。


安装Kafka Manager需要Kafka 0.8.1.1或者0.8.2-beta、sbt 0.13.x以及Java 7+,同时还必须要配置一个zookeeper的主机用来管理Kafka Manager的状态。另外,在HackerNews上还有一些有关于该开源项目的讨论,感兴趣的读者请点击“阅读原文”跳转至原网页阅读


 
InfoQ 更多文章 Facebook如何实现PB级别数据库自动化备份 学术派Google软件工程师Matt Welsh谈移动开发趋势 Spotify为什么要使用一些“无聊”的技术? 妹纸们放假了,汉纸们做啥? 大多数重构可以避免
猜您喜欢 Android--Vsync 实例分析 8种极品程序员,你属于哪一种? Python爬取鬼吹灯2有声小说(PyV8解析js) IC 芯片的成本从哪里来? 百余位诺奖得主联名,要求绿色和平停止反转基因 | 科学人