微信号:cgbigdata

介绍:在这个大数据的时代,大数据互联网大牛们将每日推送大数据相关资料,最新技术和资讯,层层干货喂饱你!

HDP版大数据平台开发环境安装配置指南(上)

2015-06-26 17:43 互联网大牛

Ambari和HDP简介

ambari简介

ApacheAmbari项目的目的是通过开发软件来配置、监控和管理hadoop集群,以使hadoop的管理更加简单。Ambari提供了一个基于它自身RESTful的api实现的直观的、简单易用的web界面。

Ambari现在支持的组件包括以下几个:

HDFS,MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig, Sqoop

Ambari允许系统管理员进行以下操作:

提供一个hadoop集群

Ambari提供了一个循序渐进的导向来安装hadoop服务到任意数量的主机

Ambari处理集群的hadoop服务配置。

管理一个hadoop集群

Ambari提供了一个中央管理器来管理整个集群的hadoop的服务的开启、停止和重新配置

监控一个hadoop集群

Ambari提供了一个面板实时监控hadoop集群的健康和状态

Ambari通过Ganglia来收集指标

Ambari通过Nagios来进行系统预警,当你需要注意的时候给你发邮件(例如:一个节点宕机了,提醒磁盘空间不足,等等)

Ambari允许程序开发人员和系统集成商:

对他们自己的应用程序通过使用Ambari REST的api 简单的集成hadoop提供、管理和监控的能力

HDP简介

hdp是hortworks data platform 的简称,是hortworks公司的大数据平台,是集成hadoop相关组件的一个商业开源的大数据处理、分析、查询的平台,其中各个组件均来源于apache并经过二次开发以减少apache开源版本中所出现的bug,并使用apache相关协议,apahce协议对商业友好。

集群所需基础条件

操作系统的需求

•Red Hat Enterprise Linux (RHEL) 版本5.x 或者 6.x (64位)

•CentOS版本5.x 或者 6.x(64位)

•Oracle Linux版本5.x 或者6.x (64位)

•SUSE Linux Enterprise Server (SLES) 11, SP1 (64位)

系统基础软件的需求

在你的每一台主机上都要安装以下软件:

(selinux上自带的python有重大bug,会导致安装失败,请先更新其上的python)

•yum 和 rpm (RHEL/CentOS/Oracle Linux)

•zypper (SLES)

•scp, curl, wget

JDK的需求

•Oracle JDK 1.7_45 64-bit (默认)

•Oracle JDK 1.6.0_31 64-bit

•OpenJDK 7 64-bit (SLES不支持)

注意

Ambari 1.5.1已经弃用了1.6.0_3164-bit版本的JDK

安装各项软件前的先决条件

amabri和监控软件所需条件

安装ambari之前,为了保证ambari各项服务和各项监控服务的正常运行,根据操作系统的不同,需要确定一些已经安装的软件的版本,以下列出的软件版本必须符合要求。即:如果现有的系统上有以下软件,版本必须与下面列出的版本完全一致,如果没有的话安装程序会自行安装,就没有问题了。


系统服务所需条件

集群内所有机器必须运行ntpd服务

安装示例说明


配置主机名

安装Ambari前的操作系统准备

#vi /etc/sysconfig/network

例如:

NETWORKING=yes

HOSTNAME=master

注意

Ambari配置集群信息的时候是通过全限定主机名来确定集群中的机器信息的,所以必须确保主机名无误

配置集群信息

注意

在每一台机器的hosts文件上都要做配置

#vi /etc/hosts

填入以下内容

127.0.0.1 localhost

192.168.0.1 i2bdp1.i2finance.net

192.168.0.2 i2bdp2.i2finance.net

192.168.0.3 i2bdp3.i2finance.net

192.168.0.4 i2bdp4.i2finance.net

配置ssh免密码互通

i2bdp1.i2finance.net和其他节点上都执行以下命令,以确保每台机器都可产生公钥

#ssh-keygen -t rsa

然后一路回车即可,此操作会在/root生成一个.ssh隐藏文件夹,

文件夹中有两个文件:id_rsa(私钥)和id_rsa.pub(公钥)

检查.ssh文件夹的权限是否为700和文件夹中的文件的权限是否为600

如果不是请执行以下命令

#chmod 700 ~/.ssh

#chmod 600 ~/.ssh/authorized_keys

将本机的公钥添加到进来

在i2bdp1.i2finance.net上执行如下命令

#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将集群中其他机器上的公钥文件中的内容以同样的放置追加到authorized_keys上以完成authorized_keys的配置

然后执行以下命令将authorized_keys发送到集群中的其他机器上即可(第一次ssh的时候同样要使用密码,一定要检查管理节点和

处理节点直接的互通,必须手动将第一次的互通打通

注意

一定要按照上面的说明,在其他机器上也执行

#scp ~/.ssh/authorized_keys i2bdp2.i2finance.net:/root/.ssh/

#scp ~/.ssh/authorized_keys i2bdp3.i2finance.net:/root/.ssh/

#scp ~/.ssh/authorized_keys i2bdp4.i2finance.net:/root/.ssh/

在master上测试连接:

#shh slave1

#shh slave2

#shh slave3

成功即可进行下一步操作,

不成功删除所有机器上.ssh文件夹及其所含文件后重新执行ssh同步操作即可

删除命令:# rm –rf /root/.ssh

关闭selinux

查看selinux状态

#/usr/sbin/sestatus –v

临时关闭

#setenforce 0

永久关闭SELinux

#vi /etc/selinux/config

将SELINUX=enforcing改为SELINUX=disabled

重启生效,重启命令为:

#reboot

可选--关闭iptables防火墙

永久关闭(需要重启)

#chkconfig iptables off

暂时关闭防火墙服务

serviceiptables stop

查看防火墙状态

#chkconfig --list|grep iptables

提示:Linux下的其它服务都可以用以上命令执行开启和关闭操作

重启生效,重启命令为:

#reboot


 
达内java大数据培训 更多文章 大数据互联网+ “大牛”软件工程师班震撼来袭 程序员怎样用5年时间攒够100万?(含福利) 10个绝佳的网站和App开发工具 权威解读:大数据发展前景 七夕咋约妹子?java程序员把妹技巧大全!
猜您喜欢 百度产品体验评测(一) | 如何做评测 python网络编程学习初步 成长为 iOS 大 V 的秘密 PHP7 的抽象语法树(AST)带来的变化 论自动化测试脚本的质量与效率