微信号:gh_a2125bded21f

介绍:关注Python开发,运维自动化,把运维做到更好~

CDH大数据平台搭建

2016-06-14 10:21 卓朗

CDH国内源会慢很多,所以最好选择手动安装。这一章我只介绍cdh安装,安装过程中可能有问题的就是域名解析和本地cdh文件权限。


一.服务器信息

192.168.2.6   10.10.75.6  CentOS6.7 DNS服务器 CDH源服务器

192.168.2.10 10.10.74.10 hd01.qtonecloud.com       CentOS6.7 接入端

192.168.2.11 10.10.74.11 hd02.qtonecloud.com       CentOS6.7 控制端

192.168.2.12 10.10.74.12 hd03.qtonecloud.com      CentOS6.7

192.168.2.13 10.10.74.13 hd04.qtonecloud.com      CentOS6.7 

 

一.由于大数据平台主机直接交互依赖于域名解析,一般有两种方法:

a.添加hosts文件,手动添加不方便而且容易出错

b.我选择DNS解析服务,只需要根据需求添加DNS记录,一劳永逸。

部署过程:

1.修改/etc/named.conf 文件

[root@localrepo named]# cat /etc/named.conf 
//
// named.conf
//
// Provided by Red Hat bind package to configure the ISC BIND named(8) DNS
// server as a caching only nameserver (as a localhost DNS resolver only).
//
// See /usr/share/doc/bind*/sample/ for example named configuration files.
//

options {
listen-on port 53 { any; };
listen-on-v6 port 53 { ::1; };
directory "/var/named";
dump-file "/var/named/data/cache_dump.db";
statistics-file "/var/named/data/named_stats.txt";
memstatistics-file "/var/named/data/named_mem_stats.txt";
allow-query { any; };
recursion yes;

dnssec-enable yes;
dnssec-validation yes;
dnssec-lookaside auto;

/* Path to ISC DLV key */
bindkeys-file "/etc/named.iscdlv.key";

managed-keys-directory "/var/named/dynamic";
};

logging {
channel default_debug {
file "data/named.run";
severity dynamic;
};
};

zone "." IN {
type hint;
file "named.ca";
};

include "/etc/named.rfc1912.zones";
include "/etc/named.root.key";

2.修改/etc/named.rfc1912.zones文件

[root@localrepo named]# cat /etc/named.rfc1912.zones 
// named.rfc1912.zones:
//
// Provided by Red Hat caching-nameserver package 
//
// ISC BIND named zone configuration for zones recommended by
// RFC 1912 section 4.1 : localhost TLDs and address zones
// and http://www.ietf.org/internet-drafts/draft-ietf-dnsop-default-local-zones-02.txt
// (c)2007 R W Franks
// 
// See /usr/share/doc/bind*/sample/ for example named configuration files.
//

zone "localhost.localdomain" IN {
type master;
file "named.localhost";
allow-update { none; };
};

zone "localhost" IN {
type master;
file "named.localhost";
allow-update { none; };
};

zone "1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.ip6.arpa" IN {
type master;
file "named.loopback";
allow-update { none; };
};

zone "1.0.0.127.in-addr.arpa" IN {
type master;
file "named.loopback";
allow-update { none; };
};

zone "0.in-addr.arpa" IN {
type master;
file "named.empty";
allow-update { none; };
};

zone "qtonecloud.com" IN {
type master;
file "qtonecloud.com.zone";
allow-update { none; };
};


zone "2.168.192.in-addr.arpa" IN {
type master;
file "2.168.192.dev";
allow-update { none; };
};

 

3.创建/var/named/qtonecloud.com.zone 正向解析文件

[root@localrepo named]# cat qtonecloud.com.zone 
$TTL 86400
@ IN SOA qtonecloud.com. root.qtonecloud.com. (
100 ; serial
1H ; refresh
1M ; retry
1W ; expiry
1D ) ; minimum
@ IN NS dns.qtonecloud.com.
dns IN A 192.168.2.6
h01 IN A 192.168.2.3
h02 IN A 192.168.2.4
h03 IN A 192.168.2.5
hd01 IN A 192.168.2.10
hd02 IN A 192.168.2.11
hd03 IN A 192.168.2.12
hd04 IN A 192.168.2.13

4.创建/var/named/2.168.192.dev 反向解析文件

[root@localrepo named]# cat 2.168.192.dev 
$TTL 86400
@ IN SOA qtonecloud.com. root.qtonecloud.com. (
100 ; serial
1H ; refresh
1M ; retry
1W ; expiry
1D ) ; minimum

@ IN NS dns.qtonecloud.com.
6 IN PTR dns.qtonecloud.com.
3 IN PTR h01.qtonecloud.com.
4 IN PTR h02.qtonecloud.com. 
5 IN PTR h03.qtonecloud.com. 
10 IN PTR hd01.qtonecloud.com. 
11 IN PTR hd02.qtonecloud.com. 
12 IN PTR hd03.qtonecloud.com. 
13 IN PTR hd04.qtonecloud.com.

二.给相关机器添加好dns解析,开始部署CDH

1.部署CDH本地源

#yum install httpd
#service httpd start

#wget http://archive.cloudera.com/cm5/repo-as-tarball/5.5.1/cm5.5.1-centos5.tar.gz

#gunzip cm5.5.1-centos5.tar.gz  
#tar xvf cm5.0.0-centos6.tar

#mv cm /var/www/html

#chmod -R ugo+rX /var/www/html/cm

 

2.编辑源文件/etc/yum.repos.d/cloudera-manager.repo (10.10.74.11)

[cloudera-manager]
name = Cloudera Manager, Version 5.5.1
baseurl = http://10.10.74.6/cm/5/
gpgkey = http://10.10.74.6/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1

 

3.安装cloudera-scm-server

#wget http://archive.cloudera.com/cm5/installer/5.5.1/cloudera-manager-installer.bin

#chmod +x cloudera-manager-installer.bin

#sudo ./cloudera-manager-installer.bin --skip_repo_package=1     (Install Cloudera Manager packages from a local repository)

 

4.Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。 但是CDH得安装包很大,制作本地源

 

先下载CDH到本地http://archive-primary.cloudera.com/cdh5/parcels/5.5.2/,

 

这里需要下载三样东西, 
首先是与自己系统版本相对应的parcel包,然后是manifest.json文件。

 

CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel  
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha  
manifest.json

 

下载完成后,将这两个文件放到master节点的/opt/cloudera/parcel-repo下(目录在安装Cloudera Manager 5时已经生成),注意目录一个字都不能错。

[root@hd02 parcel-repo]# ls -l
total 1418508
-rw-r----- 1 cloudera-scm cloudera-scm 1452479935 Apr 7 19:11 CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel
-rw-r--r-- 1 cloudera-scm cloudera-scm 41 Apr 13 17:21 CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha
-rw-r--r-- 1 cloudera-scm cloudera-scm 49717 Feb 4 14:20 manifest.json

 

接下来打开manifest.json文件,里面是json格式的配置,我们需要的就是与我们系统版本(CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel)相对应的hash码,因为我们用的是Centos6.7,搜索找到CDH版本所对应的hash值: 


 

在这个大括号的最下面找到CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel “hash”所对应的值。 
"hash": "e1144e80121771e71301fbee699a3b2c82dfff12"

将“hash”的值复制下来,然后,将CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha1文件名改为CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha,将复制下来的hash值替换掉文本中的hash值,按理说应该是一致的。保存好了,这样,我们的本地源制作完成了。 

然后的操作就是控制台按照步骤安装即可。

 

注意文件权限,和图片显示的要一样。否则后面下载CDH包的时候无法从本地找到、

 

5.登录cdh web界面,http://10.10.74.11:7180 账号/密码:admin/admin

输入主机dns解析名称




选择CDH版本


自定义cloudera agent源


输入集群账号密码


cloudera agent安装完成


下载cdh文件,由于做了本地源,所以下载很快。


安装到这里基本上都好了,后面就是部署CDH的各个服务了,后续。。。


 
devops平台 更多文章 Ceph管理节点故障mds迁移到存储节点 Mysql max_allowed_packet 被修改设置为1GB或者1024B原因 Hadoop启动报Error: JAVA_HOME is not set and could not be found解决办法
猜您喜欢 【第312期】如何进行用户行为分析并提高用户粘性 中国移动部署全球最大OpenStack集群的实践之路 美女程序媛发福利,读懂ANR的trace文件So easy 第四十四讲 继承(2) 有彩蛋!如何从AV封面中学习平面设计?