微信号:infoqchina

介绍:有内容的技术社区媒体

搭建Docker监控框架的理论与范例

2016-07-22 07:33 穆寰

容器技术适用于分布式应用的构建与交付。Docker作为容器技术的典范,已经被行业中很多国内外IT巨头企业采用,同时许多初创企业的业务也是基于Docker来实现的。

在上个月结束的全球DockerCon 16大会上,Docker的CEO Ben Golub宣布全球已有46万个应用Docker化,该数据在两年增长了3000%。同时,Ben称他们会继续努力使得每一台服务器都可以使用Docker,并估计市场价值为上百亿。

InfoQ就Docker运维的监控为主题,对云络网络科技的高级架构师王寒做了采访。

受访嘉宾简介

王寒,云络网络科技公司高级架构师,2016北京QCon《DevOps与Docker的最佳实践》讲师,毕业于香港科技大学,曾任职于IBM和微软公司。擅长于AWS、Azure技术,Windows Networking,Docker运维以及各类运维技术,DevOps实践。

InfoQ: 作为运维监控方面的专家,你如何理解监控对于整个运维系统的意义?对于一般的系统,应该从哪些方面考虑监控内容?

王寒: 系统运维的很大一部分工作就是管理服务器,而管理的前提即是对被管理事物有清晰地了解。监控可以帮助我们了解我们管理的服务器的情况,所以监控是系统运维的基础。

对于一般性的系统,应该做到从下到上三层的监控:

  • 服务器层面,即最底层,包括服务器的基本信息如CPU、memory、I/O、网络等;

  • 中间层,是服务器上安装服务的监控,如Tomcat、Niginx、MySQL等;

  • 上层应用层,这层可以使用APM监控工具来完成。

InfoQ:对于运维来说,系统基于容器带来了哪些便利性,又带来了哪些挑战?

王寒: 对运维而言,容器技术带来的便利性不多,而带来更多的是挑战。这些挑战包括在监控方面、日志收集方面、网络方面以及安全方面。在本次的访谈,我会主要谈谈容器技术给监控带来的挑战、以及相应的应对策略。

InfoQ:请谈一谈如Docker这样的容器监控原理?

王寒: Docker监控大体分成三个部分:Docker服务的监控、Docker服务下每一个容器的基本监控、Docker容器里所运行服务的监控。

常见的监控方法包括Cgroups,Docker command以及Docker API。Cgroups就是利用伪文件的方式获取单个容器的基本状况,这种方式获取信息全但需要对数据做二次处理;Docker command是利用Docker服务提供的一些命令来获取信息,这种方法简单便捷但信息量有限;Docker API可以获取比Docker command更多的信息但是对于大规模的容器管理有着性能的瓶颈。

InfoQ: 在容器监控的探索中,你们遇到最大的挑战是什么?

王寒: 容器的监控主要挑战就是监控的代理安装在哪里,是在容器内部还是在容器外部。在容器内部的话,可以直接监控容器内的服务,但会占用资源;在外部的话技术上会复杂一些,但能更大程度的发挥容器的性能。

因为Docker官方的最佳实践是一个容器只运行一个服务,而添加监控代理在内部无疑增加了服务;所以为我们并没有考虑把监控代理放在容器内部。

经我们的经验,我们建议将监控给代理放在容器外部。将监控代理放在容器外部需要解决的关键技术,是如何获取容器内部服务的信息。

InfoQ:你们目前的监控方案是怎么样的?

王寒: 我们运维平台的监控系统是Zabbix,所以我们主要是尝试了把监控集成到Zabbix上。下面是我们目前监控方案的流程图。

第一,考虑Docker监控代理安装的位置。如果选择将监控代理部署在容器内部,则需要在容器里启动一个startup服务来分别开启监控代理以及容器内所要执行的服务,这将损耗容器的性能所以这里并不建议;于是,我们尝试将监控代代理部署在容器外侧及host上。

其次,选择监控获取信息方式。从下自上来看,首先我们通过Docker API来获取Docker服务的信息,在这里我们可以收集到该host上有多少容器在运行,哪些停止,哪些暂停等整体信息;随后我们利用Zabbix的Low discovery 获取容器的服务情况,然后在Zabbix后台建立相应的Zabbix host;

之后再分别利用Cgroups(即伪文件 Pse-udo file)获取单一容器的CPU,I/O等基本情况,同时利用Docker exec脚本定位容器内部服务类别并赋予监控模板收集需要的信息。最后再将这些信息汇总到Zabbix服务器,进行统一的处理和显示。

InfoQ:基于容器的系统的未来将会怎样发展,这对于监控会带来怎样的影响?

王寒: 容器具有轻量级、易部署的特性,如果未来在性能、安全性、可靠性等层面更加成熟的话,那么容器技术在企业的使用程度会进一步增大。

容器技术是实现DevOps的一个重要技术手段。随着容器技术的广泛使用,将会出现更多的大规模的集群式容器需要监控和管理;我认为这将是未来容器发展对监控的一大挑战。


本文系InfoQ原创首发,未经授权谢绝转载。

 
InfoQ 更多文章 海量用户下,微信的复杂网络与应用实践丨视频PPT下载 技术人的职场晋升指南:如何从20万到50万,再跨越到100万?大咖说回放 开心网创始人程炳皓:八年开心网,一个成功的“失败”案例 IT职业技能图谱(全套13张官方高清下载) 不谈架构,看看如何从代码层面优化系统性能!
猜您喜欢 【微辩论】美术“陪”加班是必然吗? 工程化你的Python项目 阿里巴巴技术论坛邀你共享技术盛宴 useR!2016国际R语言用户大会视频已发布 给初学者的Android加密工具