Fabric8操作Kubernetes（一）

背景

机器学习平台资源管理之前使用的是Mesos+Marathon，随着业务的发展，Mesos+Marathon已经不能满足我们的需求，所以需要使用K8s取代Mesos+Marathon。Alpha管理平台需要实现对K8s集群的操作。
Alpha管理平台基于Spring Boot开发，需要集成Fabric8来实现对K8s集群的操作。本文介绍两种Fabric8操作Kubernetes集群的方法，分别是【证书访问】和【kubeconfig访问】。不多说了，直接开始动手写代码。

POM依赖

 <dependency>
    <groupId>io.fabric8</groupId>
    <artifactId>kubernetes-client</artifactId>
    <version>4.2.0</version>
</dependency>

一、证书访问

1. 配置文件

要初始化Fabric8的KubernetesClient，需要4项配置，分别是：

• k8s.url：K8s集群地址
• k8s.client-crt：客户端CA证书
• k8s.client-key：客户端RSA私钥
• k8s.ca-crt：K8s集群CA证书
  当然，配置项的名称可以自行定义，这里为了图省事，我就直接使用了kubelet的证书，从下面的配置可以看到，这些证书位于classpath:k8s目录下，即/src/main/resources/k8s。
  配置文件位于/src/main/resources/application.properties

# k8s 配置
k8s.url=https://10.103.18.42:6443
k8s.client-crt=classpath:k8s/apiserver-kubelet-client.crt
k8s.client-key=classpath:k8s/apiserver-kubelet-client.key
k8s.ca-crt=classpath:k8s/ca.crt

2. 自动配置

通过Spring Boot的AutoConfiguration机制自动加载相关配置。
首先定义K8sProperties内部类，并通过@ConfigurationProperties("k8s")注解，指定要绑定的配置项。
从下面的代码可以看到，我将证书和key文件绑定为Resource对象，而不是绑定为String直接获取文件路径，是因为Spring Boot发布成jar包后，无法通过路径获取classpath下的自定义文件，而通过绑定为Resource则可以直接获取到InputStream从而读取文件内容。

import lombok.Data;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.Resource;


import java.util.Map;

@Configuration
@EnableConfigurationProperties(K8sConfig.K8sProperties.class)
public class K8sConfig {

    /**
     * K8s properties
     */
    @Autowired
    private K8sProperties k8sProperties;

    @Data
    @ConfigurationProperties("k8s")
    public static class K8sProperties {
        private String url;
        // 注意用 Resource
        @Value("client-crt")
        private Resource clientCrt;
        @Value("client-key")
        private Resource clientKey;
        @Value("ca-crt")
        private Resource caCrt;
    }

    @Bean
    public K8sUtils k8sUtils() {
        if (k8sProperties == null) {
            return null;
        }
        final String url = k8sProperties.getUrl();
        if(StringUtils.isEmpty(url)){
            return null;
        }
        return new K8sUtils(k8sProperties);
    }
}

3. 初始化KubernetesClient

如果你发布Spring Boot项目不是使用jar包形式，建议你使用withXxxFile方法，传入文件绝对路径，让Fabric8自动读取证书和key文件。
否则建议你使用withXxxData方法，直接传入文件内容。

这里有两处需要特别注意：

• 读取到client-crt文件内容后，需要先用 Base64 加密，否则会提示:input null。通过简单分析Fabric8，是因为Fabric8会先将ClientCertData通过 Base64 解密。
• 此处需要显式地通过.withNamespace(null)将Namespace设为null，因为Fabric8在初始化Config时，会默认从环境变量从读取当前Namespace，如果你的服务也部署在K8s集群内，就会提示：kubernetesclientexception: namespace mismatch.。

@Slf4j
public class K8sUtils {

    private KubernetesClient client;
    private Config config;
    public K8sUtils(K8sConfig.K8sProperties k8sProperties){
        try {
            final String k8sUrl = k8sProperties.getUrl();
            log.info("k8sUrl : {}", k8sUrl);
            if(k8sUrl.startsWith(HTTPS_PREFIX)) {

                final String caCrtData = IOUtils.toString(k8sProperties.getCaCrt().getInputStream());
                final String clientKeyData = IOUtils.toString(k8sProperties.getClientKey().getInputStream());
                // 注意：此处必须先用 Base64 对证书内容加密，否则会提示 input null
                final String clientCrtData = Base64.getEncoder().encodeToString(IOUtils.toByteArray(k8sProperties.getClientCrt().getInputStream()));
                log.info("caCrtFile data: {} ", caCrtData);
                log.info("clientKeyFile data: {} ", clientKeyData);
                log.info("clientCrtFile data: {} ", clientCrtData);

                config = new ConfigBuilder().withMasterUrl(k8sUrl)
                        .withTrustCerts(true)
                        .withCaCertData(caCrtData)
                        .withClientCertData(clientCrtData)
                        .withClientKeyData(clientKeyData)
                        // 需将 Namespace 初始化为 null
                        .withNamespace(null)
                        .build();
            }else {
                config = new ConfigBuilder().withMasterUrl(k8sUrl).build();
            }
            client = new DefaultKubernetesClient(config);
        }catch (Exception e){
            client = null;
            log.error("初始化 K8sUtils 失败！", e);
        }
    }

    public KubernetesClient getClient() {
        return client;
    }
    public Config getConfig(){
        return config;
    }

}

二、kubeconfig访问（推荐）

但有时候因为未知原因，使用证书访问时，在初始化KubernetesClient时会提示”java.io.IOException: PEM is invalid: no begin marker “，这个问题我在网上没有查到解决方案。

这时，就可以使用kubeconfig访问K8s集群。

kubeconfig文件默认路径是/etc/kubernetes/admin.conf

通过kubeconfig与通过证书访问基本相同，只是配置和初始化过程略有差异，具体修改如下文所示：

1.配置文件

与证书访问基本相同。

# k8s 配置
k8s.admin-conf=classpath:k8s/admin.conf

2. 自动化配置

@Data
@ConfigurationProperties("k8s")
public static class K8sProperties {
    private String url;
    @Value("admin-conf")
    private Resource adminConf;
}

3. 初始化KubernetesClient

public K8sUtils(K8sConfig.K8sProperties k8sProperties){
    try {
        String adminConfData = IOUtils.toString(k8sProperties.getAdminConf().getInputStream());
        config = Config.fromKubeconfig(adminConfData);
        client = new DefaultKubernetesClient(config);

    }catch (Exception e){
        client = null;
        log.error("初始化 K8sUtils 失败！", e);
    }
}