kube-ovn eip-snat 功能测试

参考文档: https://kubeovn.github.io/docs/v1.10.x/guide/eip-snat/

和 neutron ovs|ovn运营商公网网络类似，需要准备一张网卡接入 ovs 公网网络的网桥

1. 部署修改项

# install.sh 置为true
ENABLE_EIP_SNAT=${ENABLE_EIP_SNAT:-true}

# cat 01-ovn-external-gw-config.yaml
apiVersion: v1
kind: ConfigMap
metadata:
  name: ovn-external-gw-config
  namespace: kube-system
data:
  enable-external-gw: "true"
  #external-gw-nodes: "hci-dev-mst-1," # 目前先测试一个节点
  ## 目前先测试一个节点，分布式会自动加入所有匹配到指定网卡名的node，
  ## 这里即使填写了，dvr模式也是会加载全部
  type: "distributed"  # 分布式模式也需要指定ge nodes
  external-gw-nic: "eth3"
  external-gw-addr: "172.20.10.1/24" # 物理网关的ip
  nic-ip: "172.20.10.2/24" # 逻辑网关的ip   后续改为基于ipam分配
  nic-mac: "fa:16:3e:08:82:34" # 逻辑网关的mac

3. 测试结果

switch 7efe6de0-8291-4487-a256-af784117cec3 (ovn-external)  # 可以看到公网网络已创建
    port ln-ovn-external
        type: localnet
        addresses: ["unknown"]
    port ovn-external-ovn-cluster
        type: router
        router-port: ovn-cluster-ovn-external
switch adfdb9ec-8667-4a44-87b2-0cb9cb4ec20f (ovn-default)
   #... 这里省略k8s的业务pod ip
    port ovn-default-ovn-cluster
        type: router
        router-port: ovn-cluster-ovn-default

switch bd55a40d-b9c0-4b66-87cb-2d3374c8ac00 (join)
 # 这个网段用于node联通ovn默认网络，每个node上都要一个端口
    port node-hci-dev-work-1
        addresses: ["00:00:00:E2:FF:69 100.64.0.4"]
    port node-hci-dev-work-2
        addresses: ["00:00:00:EA:D9:45 100.64.0.3"]
    port node-hci-dev-mst-2
        addresses: ["00:00:00:7B:F8:76 100.64.0.6"]
    port node-hci-dev-mst-3
        addresses: ["00:00:00:E1:EF:2B 100.64.0.2"]
    port node-hci-dev-mst-1
        addresses: ["00:00:00:D2:01:7D 100.64.0.5"]
    port join-ovn-cluster # 连接到路由，从而和ovn-default子网联通
        type: router
        router-port: ovn-cluster-join
router f1881036-6429-4b4b-87fd-2f3db69310d7 (ovn-cluster)
# 该路由既用于ovn-default和node联通，也用于ovn-default 和 运营商公网联通
    port ovn-cluster-join
        mac: "00:00:00:46:3F:20"
        networks: ["100.64.0.1/16"]
    port ovn-cluster-ovn-external
        mac: "fa:16:3e:08:82:34"
        networks: ["172.20.10.2/24"]
        gateway chassis: [f54b5b37-dbc4-404c-a725-90d1a38866cd 8b63c9b3-1e23-4f0c-9d5a-d6422847618a 340ef751-b952-4ba4-94d0-a8d2eaca34db 556cf63f-e4e7-4f4b-9cad-1f35d39bd1ab 5a41b082-ea22-4a03-9ef3-4122653c7eb6]
    port ovn-cluster-ovn-default
        mac: "00:00:00:42:5E:18"
        networks: ["10.16.0.1/16"]

vpc subnet ---- router ---- publicnet

租户subnet ---- lsp ---- lrp ---- 租户router ---- lrp ---- lsp ---- localnet(公共网络) ---- localport ---- localnet

对标了一下neutron 几乎是一模一样的，只有一点点区别, 因为neutron要提供metadata访问机制

# 梳理公网

switch e2331048-a7c3-4259-a1ba-74cc0d7fb974 (neutron-9989ffbf-6c71-47c9-b4bf-a747bc74f734) (aka pubnet)
    port 4b2ca3d1-2b57-46c0-8a90-eeec87397d47       # neutron 多了一个这个 用于metadata访问    
        type: localport
        addresses: ["fa:16:3e:2a:a9:90 10.120.24.100"]
    port provnet-b82c0de5-ae24-4f39-8fa9-6726593c6da9   
    # 这个是分布式路由本地直接node转发到本地公网网络  provider net 运营商网络
        type: localnet
        addresses: ["unknown"]                          # 这个端口应该配合使用才能实现DVR

2. 关于路由
   kube-ovn 默认网络，每创建一条nat（snat|snat_and_dnat），都会新增一条路由规则。

感觉这个路由的触发场景还需要再调研下 >> 目前认为应该是
这个实际上是出公网的路由，如果没有eip snat机制，那么就走到node，再从node本地出去

如果有配置eip，snat，那么就走到公共网络，再从本地出去
Subnet.Spec.NatOutgoing 这个就仅仅是用来控制策略路由的

但是这个在neutron 自定义vpc 租户网络的场景中是不需要这些路由的。
这个估计还需要再梳理下是否有更好的优化方向。

3. pkg/controller/external_vpc.go
   这个命名是external vpc，这个逻辑只是用来处理非ovn的router，比如neutron的router
   正常情况下应该是，ovn自己创建（维护的）router ，subnet，都有指定vendor=ovn，用于标记供应商
   external_ids{!=}vendor=%s", util.CniTypeName
   kube-ovn 只处理自己管辖的资源