微信号:david-share

介绍:乐于分享,才有进步.

深度理解:Openshift端口方式全解析

2018-04-10 21:40 魏新宇


一、几种网络端口模式

Openshift/Docker中,我们会遇到(听到)的几种网络端口模式有:

  1. Hostport

  2. Nodeport

  3. Hostnetwork

  4. router


它们有什么区别,适用于什么场景?我们先看看它们的作用。



二、什么是hostport?


hostport它指的是:在一个宿主机上运行的一个容器,为了外部能够访问这个容器,将容器的端口与宿主机进行端口映射。而为了避免宿主机上的端口占用,在容器和宿主机做端口映射的时候,通常映射一个比较大的端口号(小端口被系统服务占用)。


我们看一个实验:

在宿主机上启动一个apache的容器,将容器的端口80,映射成宿主机的端口10080.


然后,我们查看这个容器的网络模式,可以看到,该容器使用的是hostport的模式,占用宿主机的端口号是10080.


我们查看容器的IP,地址为:172.17.0.2



接下来,我们验证apache服务。


首先,图形化登录宿主机,访问宿主机的80端口(确保宿主机的httpd服务是停止的),无法访问:

接下里,访问宿主机的10080端口,可以访问apache网页,说明此时访问的服务,是容器中的:

接下来,我们通过外部访问宿主机的域名加10080端口号,可以成功:

接下来,我们再做一个验证,在宿主机上,直接访问容器的IP和80端口,可以通:

截至到目前,我们对hostnetwork应该有一个比较清晰的了解了。它将容器与宿主机的端口做映射,是为了从外部可以访问到容器。而如果容器不需要被外部访问,则不需要做hostport。


三、什么是nodeport?

nodeport与hostport最重要的一个区别是,hostport是针对一个单宿主机的一个容器的;而nodeport是针对于K8S集群而言的。


在Openshift中,我们知道每个pod有一个IP,通常网段是10.开头的;同时OCP中还有service ip。而nodeport指的是:将service ip和端口,映射到OCP集群所有node的node ip和指定的端口号(通常是大端口:30000-32767)。


为什么将service ip和OCP中所有node做映射?

因为service ip在OCP中是跨node的。


我们看一个service的yaml配置文件,这是一个mysql的service:

这个配置的含义是,采用nodeport的方式,将mysql server的IP和node ip映射,serivce的源端口是3306,映射到node的端口是30306(大端口)。


这样配置完毕以后,外部要访问pod,访问的是nodeip:30306。然后访问请求通过iptables的NAT将nodeip和端口转化为:service ip和3306端口,最终请求通过service负载均衡到pod。


nodeport的缺点很明显:宿主机端口浪费和安全隐患,并且数据转发次数较多多。




四、什么是hostnetwork

在hostnetwork模式下,pod的IP和端口会直接绑定到宿主机的IP和端口。应用访问的时候,访问宿主机的IP和端口号后,这个请求直接转到pod和相同的端口(不经过iptables和SVC)。也就是说,这种情况下,pod的IP就是宿主机的IP,pod暴露哪个端口,宿主机就对外暴露哪个端口。


我们看一下pod的dc:

上面的配置文件中,打开了hostnetwork模式.。pod部署以后,pod的IP直接就是宿主机的IP。


例如,在Openshift中,router就是hostnetwork模式。下图中node.example.com是node,IP是192.168.137.102,pod的IP也是这个:

我们查看pod暴露的端口,有三个:80、443、1936:

再查看pod和node端口关系,port的端口和node的端口也是一致的。


hostnetwork相比于nodeport,好处在于转发路径短。缺点是占用node的实际端口,无法在用一个节点同时运行相同端口的两个pod。同时,hostnetwork无法跨node。



五、什么是router

在Openshift中,有router的概念。router的作用是对外暴露service的FQDN。

那么,router的本质是什么?


router本质上,一个router是以hostnetwork方式运行在一个node上的容器化hproxy,它的pod ip就是所在node的ip,对外暴露的端口就是:80、443、1936。


客户端访问某一个应用,如在浏览器中输入http://productpage-istio-system.apps.example.com,首先外部DNS将这个域名解析成router所在node的IP,即:192.168.137.102。



然后,请求到达router所在的node以后,会查询到对应的route信息,查到route对应的service的名称:httpd。此时,通过查询etcd,获取到service和相关的信息。将请求通过service负载均衡发给后端的pod。


实验展示如下:


查看route名称:

下图显示的是路由信息:

域名productpage-istio-system.apps.example.com转化为svc,名称为productpge,端口是http:

下图为svc的配置,展示svc的端口以及后端pod的端口以及pod的名,productpge


下图显示的是pod的dc,其中显示pod的名称和端口:

也就是说,productpge这个pod,对外暴露的是9080端口给service,名称为productpge,端口为9080。然后,route将service productpge暴露为productpage-istio-system.apps.example.com,并且端口转为80、443、1936,而外部的DNS将productpage-istio-system.apps.example.com可以解析成router所在的node的IP。


所以说,router就是一个以hostnetwork方式运行在node上的容器化haproxy,它占用了node的80、443、1936端口。所以,这也是为什么一个node上只能运行一个router的原因所在。


六、结论

1. 在OCP中,对于http/https类的应用,对往外通过router暴露的FQDN访问即可。


2. 在OCP中,对于非http/https类的应用,如mysql,存在两种情况:


2.1. 不需要对外提供服务,那么前端应用通过内部service ip访问mysql即可,无需对外暴露;

2.2.需要被外部访问,则需要对外暴露端口,存在两种情况:

(1)应用单副本,无需在多个node上运行,优先使用hostnetwork方式

(2)应用多副本,在多个node上运行,使用nodeport的方式。

整体而言,hostnetwork的方式转发路径短,性能比nodeport好。



大魏分享:

魏新宇

"大魏分享"运营者、红帽资深解决方案架构师

专注开源云计算、容器及自动化运维在金融行业的推广

拥有红帽RHCE/RHCA、VMware VCP-DCV、VCP-DT、VCP-Network、VCP-Cloud、ITIL V3、Cobit5、C-STAR、AIX、HPUX等相关认证。


文章打赏随意(收入50%会转给原作者):



 
大卫分享 更多文章 Openshift3.7完整安装手册+容器化Harbor Ansible Tower的安装与基本功能测试 容器编排界的“三皇会战”,Kubernetes的奥斯特里茨! Ansible配置管理vCenter及相关虚拟机 [免费分享] Openshift开发指南中文版
猜您喜欢 HTTPOXY漏洞说明 多组炫酷动图,让您亲临全世界最多直男科技展之CES ❲追根究底❳TCP与HTTP连接管理 Mock+Proxy在SDK项目的自动化测试实战-Part2 Linux Shell 时间运算以及时间差计算方法