微信号:gh_bce38ef330e5

介绍:DevOps教练

Nutanix超融合之架构设计(下篇)

2017-02-19 09:32 SDNLAB君

超融合架构已经成为市场的新宠,HIC这个市场细分和名词是由Nutanix一手打造并持续保持创新和领先;对于Nutanix来说HCI即将成为历史,而一键式开启的企业云计算平台正在上演。本文源于Nutanix中国区合作伙伴支持架构师曹鹿怡在‘SDN实战团’的网络分享,由“SDNLAB君”发布于:http://www.sdnlab.com/18555.html (本文原文包含大量图片,请在浏览器中使用以上网址查看全文)。


下文继续上一篇【 Nutanix超融合之架构设计(上篇)】,继续为你讲解Nutanix技术架构特性。


超融合平台技术概述



运行机制之网络和 I/O


Nutanix 平台没有利用任何底板/内置交换模块来实现节点间通信,只依靠标准 10GbE 网络。专用私有网络上的虚拟机监控程序可以处理在 Nutanix 节点上运行的 VM 的所有存储 I/O。虚拟机监控程序处理 I/O 请求,然后将请求转发到本地 CVM 上的私有 IP。随后,CVM 将使用其外部 IP,通过公有 10GbE 网络对其他 Nutanix 节点执行远程复制。对于所有读取请求,大多数情况下都可以在本地完成,而不需要利用 10GbE 网络。


这意味着,利用公有 10GbE 网络的流量只有 DSF 远程复制流量和 VM 网络 I/O。但是,如果 CVM 发生故障或数据位于远程位置,CVM 会将请求转发到群集中的其他 CVM。同时,群集范围内的任务(例如磁盘平衡)会在 10GbE 网络上临时生成 I/O。


下面的示例将展示 VM 的 I/O 路径如何与私有和公有 10GbE 网络进行交互:


运行机制之CVM Autopathing


对于 DSF,可靠性和灵活性即使不是最重要的部分,也是一个关键部分。作为一个分布式系统,DSF 的作用是处理组件、服务和 CVM 故障。CVM 故障包括用户关闭 CVM 电源、CVM 滚动升级或可能导致 CVM 发生故障的任何事件。DSF 有一个称为“自动寻路”的功能,当本地 CVM 不可用时,则由另一个 CVM 透明地处理 I/O。


虚拟机监控程序和 CVM 使用私有 192.168.5.0 网络在专用 vSwitch 上进行通信。这意味着,对于所有存储 I/O,这一过程发生在 CVM 的内部 IP 地址上 (192.168.5.2)。CVM 的外部 IP 地址用于远程复制和 CVM 通信。


下面的示例将展示此过程:


如果本地 CVM 发生故障,之前由本地 CVM 托管的本地 192.168.5.2 地址将不可用。DSF 将自动检测到这一中断,并通过 10GbE 将这些 I/O 重定向到群集中的另一个 CVM。重新路由过程对主机上运行的虚拟机监控程序和 VM 都是透明的。这意味着,即使 CVM 电源已经关闭,VM 仍然能够继续为 DSF 执行 I/O。DSF 也能够自我修复,这意味着它将检测到 CVM 已经关闭电源,并将自动重新启动或开启本地 CVM 电源。一旦本地 CVM 恢复并可用,流量将无缝地回传并由本地 CVM 提供服务。


下面我们将展示故障 CVM 的这一过程的图形表示:



磁盘平衡


DSF 采用极其动态的平台设计,可以处理各种工作负载,并且一个群集可以混合使用多种异类节点:计算密集型和存储密集型 。混合使用具有较大存储容量的节点时,必须确保数据均匀分布。


DSF 拥有一个称为“磁盘平衡”的本机功能,该功能用于确保数据在整个群集中均匀分布。磁盘平衡控制节点对其本地存储容量的利用率,并与 DSF ILM 集成。其目的是,一旦利用率达到一定阈值,就让节点之间的利用率保持均匀。


下面的示例将展示处于“不平衡”状态的混合群集(NX3000-计算和NX6000-存储):


磁盘平衡利用 DSF 管理者框架,作为预定进程运行,并在超过阈值时运行(例如本地节点容量利用率 > n %)。如果数据不平衡,管理者将确定需要移动的数据,并将任务分布到群集中的各个节点。


如果节点类型是同类(例如NX-3000),利用率应特别均匀。但是,如果某个节点上运行的某些 VM 写入的数据多于其他节点,则每个节点的容量利用率会有所倾斜。在这种情况下,磁盘平衡会开始运行,并将该节点上的最冷数据移动到群集中的其他节点。


如果节点类型是异类(例如 NX-3000 + NX-6000),或者某个节点用于“仅限存储”模式(不运行任何 VM),则可能需要移动数据。


下面的示例将展示运行磁盘平衡后处于“平衡”状态的混合群集:

在有些情况下, 客户可能需要以“仅限存储”状态运行某些节点,CVM 只在主要用于批量存储容量的节点上运行。


下面的示例将展示混合群集中的仅限存储节点,磁盘平衡将数据从活动 VM 节点移动到该节点:


存储分层与优先级


上面内容的“磁盘平衡” 讨论了 Nutanix 群集中的所有节点之间如何共用存储容量,以及如何使用 ILM 将热数据保存到本地。类似的概念适用于磁盘分层,其中群集的 SSD 和 HDD 层属于群集范围,DSF ILM 负责触发数据移动事件。


对于本地节点上运行的 VM 生成的所有 I/O,本地节点的 SSD 层始终是优先级最高的层,但是群集的所有 SSD 资源可用于群集内的所有节点。SSD 层将始终提供最高性能,它也是混合阵列需要管理的一个重要事项。


可以按照以下原则在较高级别上划分层优先级:



特定类型的资源(例如 SSD、HDD 等)实现共用,形成群集范围内的存储层。这意味着,群集内的任何节点都可以利用整个层容量,无论是否位于本地。


下面我们将展示共用分层的一个高级示例:



一个常见的问题是,如果本地节点的 SSD 满了将会出现什么情况?正如“磁盘平衡”一节所述,一个重要概念是尽量让磁盘层内的设备利用率保持均匀。如果某个本地节点的 SSD 利用率很高,磁盘平衡将开始起作用,将本地 SSD 上的最冷数据移动到群集中的其他 SSD。这样可以释放本地 SSD 上的空间,以便让本地节点写入到本地 SSD,而不是通过网络。值得一提的是,所有 CVM 和 SSD 都可用于此远程 I/O,以消除任何潜在的瓶颈,并修复通过网络执行 I/O 的某些问题。


另一种情况是,当整体层利用率超过特定阈值 [curator_tier_usage_ilm_threshold_percent (Default=75)] 时,DSF ILM 将开始起作用并作为管理者工作的一部分,将数据从 SSD 层向下迁移到 HDD 层。这将使利用率保持在上述阈值范围内,或者释放以下数量的空间 [curator_tier_free_up_percent_by_ilm (Default=15)],取两者中较大者。需要向下迁移的数据使用最后一次访问时间进行选择。


如果 SSD 层利用率为 95%,则 SSD 层中 20% 的数据将移动到 HDD 层 (95% –> 75%)。但是,如果利用率为 80%,按照最少的层释放数量,只有 15% 的数据会移动到 HDD 层。


DSF ILM 将持续监控 I/O 模式并按需要(向下/向上)迁移数据,同时还会将最热数据保存在本地,而不论其在哪一层。


可用性域

可用性域(也称节点/块/机架感知)是分布式系统在确定组件和数据位置时所遵循的一个关键结构。DSF 当前具有节点和块感知功能,但随着群集大小不断增加,将增加机架感知功能。Nutanix 用“块”指代包含一个、两个或四个服务器“节点”的机架。注意:要激活块感知,必须使用 3 个块。


例如,NX-3460-G5 是一个具有 4 个节点的块。跨多个块分布角色或数据的原因在于,当一个块发生故障或需要维护时,系统可以不间断地继续运行。注意:在块中,冗余 PSU 和风扇是唯一共享的组件。

感知可以分为几个关键领域:


  • Data (The VM data)

  • Metadata (Cassandra)

  • 配置数据 (Zookeeper)


数据


借助 DSF,数据副本将写入到群集中的其他块,以确保在某个块发生故障时或计划停机时间,数据仍然可用。这同样适用于 RF2 和 RF3 场景以及块故障。


可以与“节点感知”做一个简单比较,在节点感知中,副本需要复制到另一个节点,从而在节点发生故障时提供保护。块感知在块发生中断时提供数据可用性保证,进一步加强了保护。


下面我们将展示副本位置在有 3 个块的部署中有何作用:


如果块发生故障,块感知将保持运行,重新复制的块将复制到群集中的其他块:



通过以上对Nutanix超融合架构设计和部分运行机制的介绍,希望能够让大家对Nutanix超融合平台所采用的技术有所了解。


Nutanix企业云方案特性


目标:摆脱基础架构的束缚,给予应用充分自由


以应用为中心


  • 注重服务水平协议与成本

  • 公有与私有应用商店相集成



可定制,同时又简单易用


  • 采用类似于Webscale的策略

  • 基础架构即可视化代码



平台构建围绕选择 和自动化展开


  • 全堆栈自动化

  • 一切均可选择(HW/VM/容器/协议……)


Nutanix企业云生态系统:


概括来看,Nutanix企业云是基于现有标准化、模块化、单一管理界面的超融合系统,在2016年中收购的Calm.IO功能基础上(代码级整合),所构建的以应用为核心的企业云平台,并能够提供与公有云之间的互通。


收购之前的Calm.IO可以看成是一个DevOps自动化 平台,以可视化的应用与服务编排管理界面,通过API和SDK等的调用,实现从应用开发测试到部署的一系列自动化管理过程,例如部署到AWS和Azure这样的云服务SP。在Calm.IO 1.83的版本已经可以结合Nutanix超融合集群,并将其作为企业云平台基础资源服务提供者,进行开发、测试与部署的自动化管理。


Calm.IO 1.83版本的界面如下所示:


云与API、SDK和自动化有关,Nutanix超融合平台提供了本身基础架构的统一API调用,而收购Calm.IO提供了与更多对于应用及公有云平台的支持,这两者的整合将在下半年的Nutanix大会发布的 Tech-preview版本中得以体现。


我们希望能够通过自动化管理平台与API、SDK的集成,实现Nutanix企业云完整的生态系统。


如下图所示:



Nutanix企业云界面预览如下图所示:


应用商店:


与第三方目录的集成(AWS、VMware等)



  Nutanix企业云展望  


  • 一个平台运行所有应用

  • 开放的应用商店

  • 精选应用列表

  1.     由Nutanix提供的

  2.     合作伙伴应用

  3.     自建应用

  • 评论与评级

  • 支持渠道

  • 多云

  • 全自动

  • 可管理的 LCM

  • 成本/货币化


以上是对Nutanix基于超融合架构的企业云平台发展展望,更详细的内容分享还需要等到今年7/8月份的Nutanix .NEXT会议之后。


分享内容文档下载链接:https://pan.baidu.com/s/1slzvOJV


本次网络交流的问答部分,请访问下面的网页浏览:

http://www.sdnlab.com/18555.html


《Nutanix 圣经》有奖下载

Steven Poitras,一个留着络腮大胡子的美国年轻人。虽然 IT 领域不乏年轻才俊,不过如果没有人介绍,人们很难将眼前这个还不到 30 岁的年轻人与《Nutanix 圣经》的作者、Nutanix 公司首席解决方案架构师联系起来。就是他,从撰写博客开始,初衷只是想为现场工程师提供架构设计的透明性,最终却向市场奉献出一本《Nutanix 圣经》,让 Nutanix 技术架构的“秘密”暴露无遗。


《Nutanix 圣经》分为六个部分共计 253 页,包括历史回顾、Prism、Acropolis、管理、AHV、vSphere 和 Hyper-V,详细介绍了超融合技术的发展变革以及技术原理,本期我们将详细介绍第一章:历史回顾。通过阅读本章,您将了解到:

☞ 由大型机时代,到独立服务器,再到虚拟化和云时代的数据中心革命变迁;

☞ 内存延迟的重要性;

☞ Web Scale 的关键架构和概念;



参与有奖下载

本次活动获奖机制与《企业云入门指南》有奖下载活动相同,由 Scott D Lowe 撰写的《企业云入门指南》将帮助您了解企业云,以及企业云如何融入您的数据中心模式。若想了解更多详细信息,请浏览《为什么选择企业云?》。


关注路坦力微信公众号


搜索:   Nutanix路坦力

扫码下面的二维码:



我们为参加免费下载活动的用户准备了 30 份“100 元京东礼品卡”奖品,获奖规则如下,请耐心阅读:


      1. 点击下方【阅读原文】,免费下载《Nutanix 圣经》电子书;

      2. 在【Nutanix 路坦力】微信订阅号对话框中,发送您填写表格时的“姓名+手机+邮箱+下载邮件截图);

3. 截止至 3 月 17 日,我们将随机抽取 30 名用户,赠送 100 元京东礼品卡一张;


点击 阅读原文 ,立刻下载《Nutanix 圣经》并截图给"Nutanix路坦力"微信公众号吧!


 
DevOps教练 更多文章 Nutanix超融合之架构设计(上篇) DevOps转型-从这里到哪里-为什么? DevOps术语表-征集协作者 2017DevOps采用和趋势现状 DevOpsDays进中国了--坐标北京
猜您喜欢 Python列表排序方法reverse、sort、sorted详解 一篇文章读懂微信小程序(应用号)是什么,是否值得投入进来做? 挖掘机技术哪家强?注射针筒来帮忙 【大宝】你不得不知的几个交互禁忌常识! 【Linux】linux磁盘空间管理