微信号:godocker

介绍:关于Docker容器虚拟化的技术及实践都在这里!

通过Docker快速部署启动Apache Hadoop及Cloudera

2016-04-19 20:21 精灵云

  玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能还不知道,Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其他启动方式更快。


  说到QuickStart VM,大家可能都很熟了,从本质上来说QuickStart VM就是一个包含了分布式数据处理平台的虚拟镜像。一开始的时候QuickStart VM只是一个demo环境,但后来发展得很火,用途也变得非常广,不管是开发人员,客户,还是合作企业,很多都在用QuickStart VM。我总结了一下,现在QuickStart VM的用途主要是在这几个方面:

 

  • 方便用户试运行CDH,并了解CDH的新功能、新组件

  • 因为可以很方便地部署Hadoop,所以经常被新手拿来练手

  • 用来做持续集成、API测试等等

  • 用户有新想法或者新应用的时候,可以用QuickStart VM做模拟运行环境

  • 用户可以把自己的软件部署在QuickStart VM里面进行演示


  QuickStart VM包括VMware、VirtualBox、KVM(这个可以作为磁盘镜像来用)几个类别,当然还有其他一些格式,这几种虚拟化平台都是早就开放给大家使用了。不过随着Docker之类的容器技术越来越火,很多运维人员都开始尝试用新技术来替代传统的VM镜像,让应用的部署更简便。

 

  在这种情况下,Cloudera QuickStart Docker镜像就应运而生了。对于Docker用户来说,这个镜像是非常轻量的,而且用起来也很方便,不用的时候可以随时销毁,不管是用于技术学习也好,用来实现产品创意也好,还是做规模测试前期的持续集成也好,Cloudera QuickStart Docker镜像都是很好用的(但是在投入产品环境之前,最好还是先放到一个更贴近真实情况的测试环境里面跑一下)。

 

  Docker跟传统的虚拟化平台还是有很多不一样的地方,比方说,Docker可以在Linux平台上运行容器,传统的虚拟机只能提供对硬件的模拟,要不然就是把对硬件资源的访问隔离开来,好让用户运行客机操作系统,但是容器就不一样了,容器从本质上说就是主机操作系统的一个进程,每个容器都有自己的一套文件系统,也有自己的资源,但一台主机上的所有容器都是运行在同一个Linux内核上的,这一点跟BSD jail和Solaris zone很像。


入门教程

  这次发布的Docker镜像(现在还只是Beta版)跟QuickStart VM一样,都包含了CDH,大家可以自己安装Cloudera Manager免费版,当然也可以装Cloudera Enterprise的60天试用版。大家可以设置Docker映射的端口,这里我设的是主机的80端口,大家也可以这样设置,然后在浏览器里访问这个端口,登进去以后应该可以看到镜像里面提供的详细的教程,还有测试用的示例数据。

 

  装好Docker以后,运行下面的命令就可以下载镜像然后跑容器了:

  大家要是还有什么问题的话,可以到Docker Hub上去找相关的文献,另外镜像也可以在Docker Hub上下载。

 

  QuickStart Docker镜像发布以后,在传统的桌面虚拟机和基于AWS的demo集群(Cloudera Live)之外,大家也可以选择Docker镜像来运行Apache Hadoop和Cloudera平台,具体选哪个就看大家的需求了,总之就是选择面更广,用户的自主空间更大。


 
GoDocker 更多文章 乐视:基于Docker的RDS,我们是这样做的 Docker为整个软件生命周期提供安全保障 应用程序跑在Docker容器中会更安全 什么是持续集成?持续交付?持续部署? Docker生态不会重蹈Hadoop的覆辙
猜您喜欢 前沿丨日本拟成立人工智能恳谈会 探讨“如何共存” React Native封装原生UI组件与『仿QQ』消息滑动删除组件封装(事件篇) 也谈谈 Redis 和 Memcached 的区别 如果让我重新设计一款Android App webp图片实践之路