关灯
开启左侧

智汇华云 | ArSDN CNI 之容器和虚拟机的通信

[复制链接]
广寒凝月 发表于 2022-1-19 12:14:12 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
 
应用集群组件由于其特性,会部署到容器、虚拟机中,那么组件间的通信就会跨多平台。虚拟机是通过ArStack管理维护,K8s则由AKE组件管理维护,两者属于不同的平台。当虚拟机和容器需要相互“交谈”的时候,我们需要以某种方式实现两个独立集群之间的通信。本文将介绍通过ArSDN如何实现容器和虚拟机的互通。


实现思路





单个可用区中部署ArSDN组件,可用区中的AKE、ArStack都接入ArSDN,由ArSDN接管网络平台的控制和数据面流量转发。


当数据面统一由ArSDN接管后,则可以将容器、虚拟机统一到一个平台来管理,可以借助虚拟网络的隔离实现集群间的隔离,通过三层路由器、策略等功能实现跨集群间的通信。


可以自由控制容器、虚拟机和裸机的流量。


容器和虚拟机互通的实现方式





容器集群通过CNI插件实现容器的网络功能。CNI插件的实现有很多种,本文介绍的是华云数据自研的ArSDN CNI。


在容器集群接入ArSDN时,ArSDN CNI会在ArSDN执行一些初始化的操作,比如为每个容器集群创建一个Pod网络和一个Service网络、创建安全策略、网络策略等等,容器的IP地址分配以及安全策略都由ArSDN来管理。


Pod创建流程:


● CNI组件watch到有新的Pod创建,会在Pod网络中创建对应的网卡并分配IP地址
● Pod在调度完成后,kubelet会调用CNI插件创建Pod网卡
● CNI插件调用ArSDN组件获取Pod网卡信息并完成网卡的创建


容器集群内部通信存在几种场景:


● Pod和ApiServer通信:类似coredns这类Pod需要访问k8s apiserver获取对应的资源并生成域名信息
● 容器节点和Pod通信:部分组件会通过域名来访问Service,最终访问pod
● Pod访问外网:Pod部分页面需要访问公网资源,有出外网的需求。可以通过将pod网络加入路由器来实现
● CNI如何获取pod网卡信息:cni插件获取容器网卡信息用来创建虚拟网卡


下面我们通过区分部署模式来具体介绍每个场景的实现方式


嵌套部署


容器集群如果部署到ArStack的虚拟机中我们称为嵌套部署场景。嵌套场景中ArSDN本身会负责虚拟机的流量,还需要负责转发虚拟机内部的容器流量。


在vrouter组件中会为每个容器网卡创建一个独立的子接口(sub interface),对应的父接口是虚拟机的网卡。通过这种实现,我们可以将容器网卡和虚拟机网卡抽象到同一个平面来管理,他们在数据库中都对应一个virtual-machine-interface只是其中的sub-interface属性值不同


Pod和ApiServer通信


Pod访问ApiServer是通过访问K8S对应的Service IP来实现的,Service的后端对应集群的管理节点IP。嵌套场景中虚拟机有两种网络:管理网、数据网,且都是虚拟网络。我们通过networkpolicy或者路由器将这两个虚拟网络打通,实现三层通信。这样Pod在访问k8s service IP时,流量会转发到管理ip,此时由于管理网和pod网络已经三层打通,可以直接通信。


节点和Pod通信


节点访问Pod实际是从管理网访问Pod网络,类似上面的做法,管理网和pod网络都是虚拟网络且已经三层打通,可以直接通信


CNI如何获取Pod网卡信息


由于cni获取Pod网卡信息的时候,Pod已经完成了调度,也就是说CNI可以直接访问当前节点的Vrouter组件获取网卡信息。嵌套场景中CNI是在虚拟机内部的,需要通过某种方式来访问物理节点上的Vrouter服务。


这里我们通过link-local来实现流量转发,在访问某个固定IP和端口的时候,流量在到达物理节点时直接转换成访问当前节点IP+端口。这里也就是直接访问127.0.0.1:9096


非嵌套部署





容器集群部署到ArStack外部虚拟机或者物理裸机中我们称为非嵌套部署场景。非嵌套场景中容器节点类似一个计算节点,会在上面运行Vrouter组件实现跨节点的数据通信。


Pod和ApiServer通信


非嵌套场景中管理网络正常都是物理网络,我们无法通过networkpolicy或者路由器将它和Pod网路打通。在pod访问k8s service ip时,流量转换成访问管理IP,但是由于pod网络是一个私有网络,和物理网络是隔离的。这里通过link-local将访问的数据包执行snat,使得源地址改成Vhost0 IP。此时只需要在物理设备里将数据网络和管理网打通,就可以通过vhost0 IP来访问apiserver了


节点和Pod通信


节点访问pod网络,默认情况下pod网络是私有网络,从节点来访问根据节点上的路由规则,会走默认路由到外部网络中,是无法通信的。这里我们通过将pod网络开启ip-fabric功能,在物理节点上会动态创建访问pod网络的路由规则,使得在访问pod网络时流量转到vhost0中


CNI如何获取Pod网卡信息


由于在裸机上会直接部署Vrouter,所以CNI可以直接访问当前节点的Vrouter。相对于嵌套模式不需要进行流量转发。


K8S有自己的网络模型,有service/ingress实现四层和七层负载均衡功能,通过networkpolicy实现安全功能,还有其他的qos、端口转发等。ArSDN CNI则将K8S资源模型转换成ArSDN资源模型。


容器和ArStack资源模型对比:





总结


ArSDN cni将k8s资源模型和ArSDN资源进行转换,打通了两者之间的架构差异。


虚拟机通过加入Pod虚拟网络可以实现和容器的二层通信。通过路由器可以实现和容器的三层通信。容器集群间也可以通过网络策略或者路由器打通,为多集群网络通信提供支持。


回复

使用道具 举报

 
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

排行榜

关注我们

官方微信

唯一QQ:

1511923161

地址:广东清远市阳山县

Email:1511923161#qq.com

Copyright   ©2015-2021  网创平台Powered by©网创平台工作室