集群网络地址段规划实践-九游平台

约束与限制

通过搭建vpn方式访问cce集群，需要注意vpn网络和集群所在的vpc网段、容器使用网段不能冲突。

集群各网段基本概念

• vpc网段

  虚拟私有云（virtual private cloud，简称vpc）可以为云服务器、云容器、云数据库等资源构建隔离的、用户自主配置和管理的虚拟网络环境。您可以自由配置vpc内的ip地址段、子网、安全组等子服务，也可以申请弹性带宽和弹性公网ip搭建业务系统。

• 子网网段
  子网是用来管理弹性云服务器网络平面的一个网络，可以提供ip地址管理、dns服务，子网内的弹性云服务器ip地址都属于该子网。

  图1 vpc网段结构
  

  默认情况下，同一个vpc的所有子网内的弹性云服务器均可以进行通信，不同vpc的弹性云服务器不能进行通信。

  不同vpc的弹性云服务器可通过vpc创建对等连接通信。

• 容器网段（pod网段）

  pod是kubernetes内的概念，每个pod具有一个ip地址。

  在cce上创建集群时，可以指定pod的地址段（即容器网段），容器网段不能和子网网段重叠。例如子网网段用的是 192.168.0.0/16，集群的容器网段就不能使用192.168.0.0/18，192.168.1.0/18等，因为这些地址都涵盖在 192.168.0.0/16 里了。

• 容器子网（仅cce turbo集群）

  cce turbo集群中，容器直接从vpc网段中分配ip地址，容器子网可以和子网网段重叠，但需要注意该容器子网的大小决定了集群下容器的数量上限。

• 服务网段

  service也是kubernetes内的概念，每个service都有自己的地址，在cce上创建集群时，可以指定service的地址段（即服务网段）。同样，服务网段也不能和子网网段重合，而且服务网段也不能和容器网段重叠。服务网段只在集群内使用，不能在集群外使用。

单vpc下单集群场景

cce集群：包含vpc网络模式和容器隧道网络模式集群，集群网络地址段规划示意图如图2所示。

• vpc网段：集群所在的vpc网段，该网段的大小影响集群中可创建的节点数量上限。
• 子网网段：集群中节点所在的子网网段，子网网段包含在vpc网段中。同个集群中的不同节点可分配到不同的子网网段。
• 容器网段：容器网段不能和子网网段重叠。
• 服务网段：服务网段不能和子网网段重叠，而且也不能和容器网段重叠。

图2 单vpc单集群场景网段规划-cce集群

单vpc下多集群场景

vpc网络模式

容器隧道网络

该模式下容器网络是承载于vpc网络之上的overlay网络平面，具有少量隧道封装性能损耗，但获得了通用性强、互通性强、高级特性支持全面（例如network policy网络隔离）的优势，可以满足大多数应用需求。集群网络地址段规划示意图如图5所示。

• vpc网段：集群所在的vpc网段，该网段的大小影响集群中可创建的节点数量上限。
• 子网网段：每个集群中的子网网段不能和容器网段重叠。
• 容器网段：所有集群的容器网段可以重叠。在此情况下不同集群的pod不能通过容器ip直接访问，跨集群容器之间的访问需要通过service，建议使用负载均衡类型的service。
• 服务网段：由于服务网段只能在集群中使用，因此集群之间服务网段可以重叠，但是不能和所属集群的子网网段和容器网段重叠。

图5 容器隧道网络-多集群场景示例

云原生网络2.0模式（即cce turbo集群）

多网络模式集群并存场景

同一vpc中包含多个网络模式的集群时，应在创建新集群时遵循以下规律：

• vpc网段：该场景下各个集群所在的vpc网段相同，请保证vpc内可用的ip地址数充足。
• 子网网段：子网网段尽量避免和容器网段重叠。即使在某些场景下（例如和cce turbo集群共存时），子网网段可以和容器（子网）网段重叠，但从地址段规划角度出发，这是不推荐的。
• 容器网段：仅vpc网络模式的集群间的容器网段需要避免相互重叠。
• 服务网段：所有集群之间服务网段可以重叠，但是不能和所属集群的子网网段和容器网段重叠。

集群跨vpc互联场景

不同vpc之间网络不通，对等连接用于连通同一个区域内的vpc，实现不同vpc的网络互联。两个vpc网络互联的情况下，可以通过路由表配置哪些报文要发送到对端vpc里。详情请参见。

vpc网络模式集群

vpc网络模式的集群跨vpc互联时，在创建对等连接后，您需要在两端vpc内添加对等连接路由信息，才能使两个vpc互通。

图7 vpc网络-vpc互联场景

跨vpc的集群容器之间互联需要建立vpc对等连接时，需要注意如下几点：

• 两端集群所属的vpc地址段需要避免重叠，且在每个集群中，子网网段不能与容器网段重叠。
• 两端集群的容器网段不能相互重叠，但服务网段可以重叠。
• 当请求端集群为vpc网络模型时，需要关注目的端集群的节点安全组在入方向上是否放通了请求端集群的容器网段。此时，一个集群的pod可以通过容器ip直接访问另外一个集群的pod。同理，如果两端集群的节点需要相互访问，节点安全组需要放通对端集群的vpc网段。
• 两端的vpc路由表中均需要添加访问对端网段的路由。例如，vpc 1的路由表需添加访问vpc 2网段的路由，同时，vpc 2的路由表也需要添加访问vpc 1的路由。
  • 添加对端集群vpc网段：添加vpc网段的路由后，pod可以访问另外一个集群节点，例如访问nodeport类型的service端口。
  • 添加对端容器网段：添加容器网段路由后，pod可以通过容器ip直接访问另外一个集群的pod。
  图8 在本端路由中添加对端容器网段的地址
  

容器隧道网络模式集群

两个容器隧道网络模式的集群跨vpc互联时，创建对等连接后，您需要在两端vpc内添加对等连接路由信息，才能使两个vpc互通。

图9 容器隧道网络-vpc互联场景

需要注意如下几点：

• 两端集群所属的vpc地址段需要避免重叠。
• 所有集群的容器网段可以重叠，服务网段也可以重叠。
• 当请求端集群为容器隧道网络模型时，需要关注目的端集群的节点安全组在入方向上是否放通了请求端集群的vpc网段（包含节点子网）。在此情况下，一个集群的节点可以访问另一个集群的节点。但不同集群的pod不能通过容器ip直接访问，跨集群容器之间的访问需要通过service，建议使用负载均衡类型的service。
• 两端的vpc路由表中均需要添加对端集群vpc网段路由。例如，vpc 1的路由表需添加访问vpc 2网段的路由，同时，vpc 2的路由表也需要添加访问vpc 1的路由。添加vpc网段的路由后，pod可以访问另外一个集群节点，例如访问nodeport类型的service端口。
  图10 在本端路由中添加对端集群节点子网网段的地址
  

云原生网络2.0集群（即cce turbo集群）

多网络模式集群并存场景

在不同网络模式集群间需要跨vpc互访的情况下，每种类型的集群均可能作为请求端和目的端。一般情况下需遵循以下规律：

• 集群所属的vpc地址段需要避免和对端集群的vpc地址段重叠。
• 集群子网网段尽量避免和自身的容器网段重叠。
• 集群间的容器网段需要避免相互重叠。
• 如集群间容器或节点存在相互访问，则两侧集群的安全组在入方向上均需按以下规则放通对应网段：
  • 请求端集群为vpc网络模型时，目的端集群的节点安全组需放通请求端集群的vpc网段（包含节点子网）和容器网段。
  • 请求端集群为容器隧道网络模型时，目的端集群的节点安全组需放通请求端集群的vpc网段（包含节点子网）。
  • 请求端集群为云原生网络2.0模型时，目的端集群的eni安全组和节点安全组需放通请求端集群的vpc网段（包含节点子网和容器子网）。
• 两端的vpc路由表中均需要添加对端集群vpc网段路由。例如，vpc 1的路由表需添加访问vpc 2网段的路由，同时，vpc 2的路由表也需要添加访问vpc 1的路由。添加vpc网段的路由后，pod可以访问另外一个集群节点，例如访问nodeport类型的service端口。

  若某个集群为vpc网络模型，两端的vpc路由表中还需要添加容器网段的地址。添加容器网段路由后，pod可以通过容器ip直接访问另外一个集群的pod。

vpc网络到idc的场景

和vpc互联场景类似，同样存在vpc里部分地址段路由到idc，cce集群的pod地址就不能和这部分地址重叠。idc里如果需要访问集群里的pod地址，同样需要在idc端配置到专线vbr的路由表。