微信号:gh_2e633dc8619c

介绍:我们是产品质量的守护者,我们所做的一切就是保证质量!我们的目标就是将质量保证服务化,做服务的Provider!

Hadoop 运维的那些事(上)

2017-04-14 10:35 燕南


前言 

从第一次接触Hadoop算起已有一年时间,期间踩过大大小小的坑不计其数,在此整理些许Ambari的使用经验和大家分享。特别注意本文如未提及版本号,则统一视为1.6.1。



关于官方文档:

Ambari安装、使用Ambari部署Hadoop、HA模式开启及Kerberos认证开启不再赘述,官方文档写的很详细,具体参见http://docs.hortonworks.com ,请选择对应的版本号,不同版本安装步骤略有不同。下面介绍几点官方文档中未提及(我是没找到…)或不太好找的技术点。


API

官方文档中值得一提的是Ambari的API,不知道是何原因hortonworks的文档中没有专门的介绍,虽然也有链接但是比较隐蔽,在此提供给大家:传送门(https://cwiki.apache.org/confluence/display/AMBARI/API+usage+scenarios%2C+troubleshooting%2C+and+other+FAQs),网上有些文章也提到过API,不过Ambari的版本基本都是2.1.0,但其实1.2.3就已经包含了这些API。


Ambari的GUI功能已经较为齐全,比如start/stop/restart/decommission/recommission/delete等,且都可批量操作。但是delete操作只有DataNode、NodeManager及Ganglia有,其他服务只能通过API的方式进行删除,不太明白为什么这么设计,因为还算是重要的操作,所以这里介绍一下,具体使用方法如下:


Tips:

  •  –u参数后为username:password;

  • URL中的AMBARI_SERVER_HOST、CLUSTERNAME、HOSTNAME大写字母部分为需要根据具体情况替换的部分(此命令为删除DN的实例),小写则为固有写法不可更改;

  • 在删除服务前需要停止该服务;

  • 某主机上具体服务情况获取可通过下面的命令:


迁移

 Ambari自带NameNode和ResourceManager迁移向导,可根据提示一步一步完成迁移。个人感觉这个过程应该很少会出现问题,但是我比较倒霉遇到个大坑,在此先卖个关子,等到后面章节再详细介绍。


继续说迁移,不知道高版本Ambari是否加入了其他服务的迁移向导,1.6.1中不包含迁移向导的主要服务有:JournalNode、ZooKeeper、HistoryServer、Ganglia和Nagios。


除JN、ZK外其他三个服务由于没有数据依赖,且不存在数据保留问题(我这边目前不需要保存旧数据),可以通过API简单粗暴的删除旧服务,然后在新机器上再安装即可。删除API参见上一标题中DELETE,安装API如下:


JN迁移涉及数据和配置,过程比较复杂且必须停机进行,这个服务没有向导而且官网上都没有介绍,实在有点意外。不过好在Hortonworks论坛上有一篇文章详细的介绍了这个过程,传送门:

(https://community.hortonworks.com/articles/14612/process-for-moving-journal-nodes-from-one-host-to.html),亲测有效。


然后是ZK,ZK的迁移其实也可以参照Ganglia和Nagios,不过因为涉及配置问题,所以还是提一下,可以直接在新机上安装ZK(API方法安装),然后直接修改配置文件,将新节点加入ZK的配置(具体配置项为ha.zookeeper.quorum),旧的删除。旧机器上的服务通过API删除即可完成。


最后再说一下Ambari自身迁移,其实官方有详细文档,传送门:

(http://docs.hortonworks.com/HDPDocuments/Ambari-1.6.1.0/bk_ambari_reference/content/ambari-chap11.html),之所以提到,是因为这里介绍了Ambari-server备份的方法。当然这个方法仅限于使用内嵌postgres数据库的安装方式。另外如果开启了Kerberos,还需要对Kerberos进行备份。


小结

本篇内容并没有特别的脉络或体系,意在介绍一些官方文档没有、不易找到的问题。后续系列中会着重介绍的主要内容如下:Ambari配置管理的BUG,NN启动后无法关闭安全模式的一个case,集群用户权限导致的MR任务失败等等。最后感谢阅读我的文章,欢迎留言讨论...










 
铸盾师 更多文章 服务端功能测试小记 高性能服务器架构--在日志数据校验中的运用(上篇) ​​Appium + Celery实现网页兼容性测试
猜您喜欢 大数据:七年之痒变五年了?!离婚原因前三竟是…… 【太阁漫谈】硅谷的闪电式扩张(二) PPT:大数据在汽车行业中的应用 安全评测·驾驶细分 在哪里写Autolayout布局最合适? 大数据入行新手如何进行机器学习?