Kubernetes集群安装

来自ling
跳转至: 导航搜索

参考

follow-me-install-kubernetes-cluster easypack-Kubernetes

组件版本和集群环境

集群组件和版本

  • Kubernetes 1.6.2
  • Docker 17.04.0-ce
  • Etcd 3.1.6
  • Flanneld 0.7.1 vxlan 网络
  • TLS 认证通信 (所有组件,如 etcd、kubernetes master 和 node)
  • RBAC 授权
  • kubelet TLS BootStrapping
  • kubedns、dashboard、heapster (influxdb、grafana)、EFK (elasticsearch、fluentd、kibana) 插件
  • 私有 docker registry,使用 ceph rgw 后端存储,TLS + HTTP Basic 认证

集群机器

  • 10.64.3.7
  • 10.64.3.8
  • www.ling2.cn 106.14.12.142
  • surface.ling2.cn 180.154.185.200
  • 10.66.3.86

本着测试的目的,etcd 集群、kubernetes master 集群、kubernetes node 均使用这三台机器。

开始之前

参考Kubernetes_安装#开始前准备

集群环境变量

后续的部署步骤将使用下面定义的全局环境变量,根据**自己的机器、网络情况**修改:

# 建议用 未用的网段 来定义服务网段和 Pod 网段

# 服务网段 (Service CIDR),部署前路由不可达,部署后集群内使用 IP:Port 可达
SERVICE_CIDR="10.254.0.0/16"

# POD 网段 (Cluster CIDR),部署前路由不可达,**部署后**路由可达 (flanneld 保证)
CLUSTER_CIDR="172.30.0.0/16"

# 服务端口范围 (NodePort Range)
NODE_PORT_RANGE="8400-9000"

# etcd 集群服务地址列表
#ETCD_ENDPOINTS="https://10.64.3.7:2379,https://10.64.3.8:2379,https://10.66.3.86:2379"
# ETCD_ENDPOINTS="https://106.14.12.142:2379,https://192.168.1.30:2379" #surface
ETCD_ENDPOINTS="https://www.ling2.cn:2379" #ecs

# flanneld 网络配置前缀
FLANNEL_ETCD_PREFIX="/kubernetes/network"

# kubernetes 服务 IP (预分配,一般是 SERVICE_CIDR 中第一个IP)
CLUSTER_KUBERNETES_SVC_IP="10.254.0.1"

# 集群 DNS 服务 IP (从 SERVICE_CIDR 中预分配)
CLUSTER_DNS_SVC_IP="10.254.0.2"

# 集群 DNS 域名
CLUSTER_DNS_DOMAIN="cluster.local."

打包后的变量定义见 environment.sh 后续部署时会**提示导入**该脚本;

environment.sh

tee /alidata/dockerdata/environment/environment-surface.sh <<-'EOF'
SERVICE_CIDR="10.254.0.0/16"
CLUSTER_CIDR="172.30.0.0/16"
NODE_PORT_RANGE="8400-9000"
ETCD_ENDPOINTS="https://106.14.12.142:2379"
FLANNEL_ETCD_PREFIX="/kubernetes/network"
CLUSTER_KUBERNETES_SVC_IP="10.254.0.1"
CLUSTER_DNS_SVC_IP="10.254.0.2"
CLUSTER_DNS_DOMAIN="cluster.local."

EOF

用法

docker run --name lingserver-kubernetes -t -i --privileged -v /alidata/dockerdata/ssl/:/etc/kubernetes/ssl -v /alidata/dockerdata/environment/environment.sh:/root/local/bin/environment.sh registry.cn-hangzhou.aliyuncs.com/ling/lingserver-centos:latest /bin/bash

分发集群环境变量定义脚本

把全局变量定义脚本拷贝到**所有**机器的 `/root/local/bin` 目录:

environment.sh /root/local/bin

创建 TLS 证书和秘钥

`kubernetes` 系统各组件需要使用 `TLS` 证书对通信进行加密,本文档使用 `CloudFlare` 的 PKI 工具集 [cfssl](https://github.com/cloudflare/cfssl) 来生成 Certificate Authority (CA) 和其它证书。

生成的 CA 证书和秘钥文件如下:

  • ca-key.pem
  • ca.pem
  • kubernetes-key.pem
  • kubernetes.pem
  • kube-proxy.pem
  • kube-proxy-key.pem
  • admin.pem
  • admin-key.pem

使用证书的组件如下:

  • etcd:使用 ca.pem、kubernetes-key.pem、kubernetes.pem;
  • kube-apiserver:使用 ca.pem、kubernetes-key.pem、kubernetes.pem;
  • kubelet:使用 ca.pem;
  • kube-proxy:使用 ca.pem、kube-proxy-key.pem、kube-proxy.pem;
  • kubectl:使用 ca.pem、admin-key.pem、admin.pem;

`kube-controller`、`kube-scheduler` 当前需要和 `kube-apiserver` 部署在同一台机器上且使用非安全端口通信,故不需要证书。

kubernetes 1.4 开始支持 `TLS Bootstrapping` 功能,由 `kube-apiserver` 为客户端生成 TLS 证书,这样就不需要为每个客户端生成证书(该功能**目前仅支持 `kubelet`**,所以本文档没有为 kubelet 生成证书和秘钥)。

安装 `CFSSL`

 cd /alidata/soft

 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
 chmod +x cfssl_linux-amd64
 mv cfssl_linux-amd64 /root/local/bin/cfssl

 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
 chmod +x cfssljson_linux-amd64
 mv cfssljson_linux-amd64 /root/local/bin/cfssljson

 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
 chmod +x cfssl-certinfo_linux-amd64
 mv cfssl-certinfo_linux-amd64 /root/local/bin/cfssl-certinfo

 export PATH=/root/local/bin:$PATH

 mkdir -p /alidata/soft/ssl
 cd /alidata/soft/ssl
 cfssl print-defaults config > config.json
 cfssl print-defaults csr > csr.json

创建 CA (Certificate Authority)

创建 CA 配置文件:

tee /alidata/soft/ssl/ca-config.json <<-'EOF'
{
  "signing": {
    "default": {
      "expiry": "8760h"
    },
    "profiles": {
      "kubernetes": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "8760h"
      }
    }
  }
}
EOF
  • `ca-config.json`:可以定义多个 profiles,分别指定不同的过期时间、使用场景等参数;后续在签名证书时使用某个 profile;
  • `signing`:表示该证书可用于签名其它证书;生成的 ca.pem 证书中 `CA=TRUE`;
  • `server auth`:表示 client 可以用该 CA 对 server 提供的证书进行验证;
  • `client auth`:表示 server 可以用该 CA 对 client 提供的证书进行验证;

创建 CA 证书签名请求:

tee /alidata/soft/ssl/ca-csr.json <<-'EOF'
{
  "CN": "kubernetes",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • "CN":`Common Name`,kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name);浏览器使用该字段验证网站是否合法;
  • "O":`Organization`,kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group);

生成 CA 证书和私钥:

 cd /alidata/soft/ssl
 cfssl gencert -initca ca-csr.json | cfssljson -bare ca
 ls ca*
 ca-config.json  ca.csr  ca-csr.json  ca-key.pem  ca.pem

创建 kubernetes 证书

创建 kubernetes 证书签名请求:

tee /alidata/soft/ssl/kubernetes-csr.json <<-'EOF'
{
  "CN": "kubernetes",
  "hosts": [
    "127.0.0.1",
    "www.ling2.cn",
    "surface.ling2.cn",
    "106.14.12.142",
    "172.19.154.195",
    "master",
    "surface",
    "10.254.0.1",
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • 如果 hosts 字段不为空则需要指定授权使用该证书的 **IP 或域名列表**,由于该证书后续被 `etcd` 集群和 `kubernetes master` 集群使用,所以上面分别指定了 `etcd` 集群、`kubernetes master` 集群的主机 IP;
  • 还需要添加 kube-apiserver 注册的名为 `kubernetes` 的服务 IP (Service Cluster IP),一般是 kube-apiserver `--service-cluster-ip-range` 选项值指定的网段的**第一个IP**,如 "10.254.0.1";
  kubectl get svc kubernetes
  NAME         CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
  kubernetes   10.254.0.1   <none>        443/TCP   1d

生成 kubernetes 证书和私钥:

 cd /alidata/soft/ssl
 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kubernetes-csr.json | cfssljson -bare kubernetes
 ls kubernetes*
kubernetes.csr  kubernetes-csr.json  kubernetes-key.pem  kubernetes.pem

或者直接在命令行上指定相关参数:

$ echo '{"CN":"kubernetes","hosts":[""],"key":{"algo":"rsa","size":2048}}' | cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes -hostname="127.0.0.1,10.64.3.7,10.254.0.1,kubernetes,kubernetes.default" - | cfssljson -bare kubernetes
$

创建 admin 证书

创建 admin 证书签名请求:

tee /alidata/soft/ssl/admin-csr.json <<-'EOF'
{
  "CN": "admin",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "system:masters",
      "OU": "System"
    }
  ]
}
EOF
  • 后续 `kube-apiserver` 使用 `RBAC` 对客户端(如 `kubelet`、`kube-proxy`、`Pod`)请求进行授权;
  • `kube-apiserver` 预定义了一些 `RBAC` 使用的 `RoleBindings`,如 `cluster-admin` 将 Group `system:masters` 与 Role `cluster-admin` 绑定,该 Role 授予了调用`kube-apiserver` **所有 API**的权限;
  • OU 指定该证书的 Group 为 `system:masters`,`kubelet` 使用该证书访问 `kube-apiserver` 时 ,由于证书被 CA 签名,所以认证通过,同时由于证书用户组为经过预授权的 `system:masters`,所以被授予访问所有 API 的权限;

生成 admin 证书和私钥:

 cd /alidata/soft/ssl
 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes admin-csr.json | cfssljson -bare admin
 ls admin*
admin.csr  admin-csr.json  admin-key.pem  admin.pem

创建 kube-proxy 证书

创建 kube-proxy 证书签名请求:

tee /alidata/soft/ssl/kube-proxy-csr.json <<-'EOF'
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "BeiJing",
      "L": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF
  • CN 指定该证书的 User 为 `system:kube-proxy`;
  • `kube-apiserver` 预定义的 RoleBinding `cluster-admin` 将User `system:kube-proxy` 与 Role `system:node-proxier` 绑定,该 Role 授予了调用 `kube-apiserver` Proxy 相关 API 的权限;

生成 kube-proxy 客户端证书和私钥:

 cd /alidata/soft/ssl
 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes  kube-proxy-csr.json | cfssljson -bare kube-proxy
 ls kube-proxy*
kube-proxy.csr  kube-proxy-csr.json  kube-proxy-key.pem  kube-proxy.pem

校验证书

以校验 kubernetes 证书为例:

使用 `openssl` 命令

 openssl x509  -noout -text -in  kubernetes.pem
...
    Signature Algorithm: sha256WithRSAEncryption
        Issuer: C=CN, ST=BeiJing, L=BeiJing, O=k8s, OU=System, CN=Kubernetes
        Validity
            Not Before: Apr  5 05:36:00 2017 GMT
            Not After : Apr  5 05:36:00 2018 GMT
        Subject: C=CN, ST=BeiJing, L=BeiJing, O=k8s, OU=System, CN=kubernetes
...
        X509v3 extensions:
            X509v3 Key Usage: critical
                Digital Signature, Key Encipherment
            X509v3 Extended Key Usage:
                TLS Web Server Authentication, TLS Web Client Authentication
            X509v3 Basic Constraints: critical
                CA:FALSE
            X509v3 Subject Key Identifier:
                DD:52:04:43:10:13:A9:29:24:17:3A:0E:D7:14:DB:36:F8:6C:E0:E0
            X509v3 Authority Key Identifier:
                keyid:44:04:3B:60:BD:69:78:14:68:AF:A0:41:13:F6:17:07:13:63:58:CD

            X509v3 Subject Alternative Name:
                DNS:kubernetes, DNS:kubernetes.default, DNS:kubernetes.default.svc, DNS:kubernetes.default.svc.cluster, DNS:kubernetes.default.svc.cluster.local, IP Address:127.0.0.1, IP Address:10.64.3.7, IP Address:10.254.0.1
...
  • 确认 `Issuer` 字段的内容和 `ca-csr.json` 一致;
  • 确认 `Subject` 字段的内容和 `kubernetes-csr.json` 一致;
  • 确认 `X509v3 Subject Alternative Name` 字段的内容和 `kubernetes-csr.json` 一致;
  • 确认 `X509v3 Key Usage、Extended Key Usage` 字段的内容和 `ca-config.json` 中 `kubernetes` profile 一致;

使用 `cfssl-certinfo` 命令

 cfssl-certinfo -cert kubernetes.pem
...
{
  "subject": {
    "common_name": "kubernetes",
    "country": "CN",
    "organization": "k8s",
    "organizational_unit": "System",
    "locality": "BeiJing",
    "province": "BeiJing",
    "names": [
      "CN",
      "BeiJing",
      "BeiJing",
      "k8s",
      "System",
      "kubernetes"
    ]
  },
  "issuer": {
    "common_name": "Kubernetes",
    "country": "CN",
    "organization": "k8s",
    "organizational_unit": "System",
    "locality": "BeiJing",
    "province": "BeiJing",
    "names": [
      "CN",
      "BeiJing",
      "BeiJing",
      "k8s",
      "System",
      "Kubernetes"
    ]
  },
  "serial_number": "174360492872423263473151971632292895707129022309",
  "sans": [
    "kubernetes",
    "kubernetes.default",
    "kubernetes.default.svc",
    "kubernetes.default.svc.cluster",
    "kubernetes.default.svc.cluster.local",
    "127.0.0.1",
    "10.64.3.7",
    "10.64.3.8",
    "10.66.3.86",
    "10.254.0.1"
  ],
  "not_before": "2017-04-05T05:36:00Z",
  "not_after": "2018-04-05T05:36:00Z",
  "sigalg": "SHA256WithRSA",
...

分发证书

将生成的证书和秘钥文件(后缀名为`.pem`)拷贝到**所有机器**的 `/etc/kubernetes/ssl` 目录下:

 mkdir -p /etc/kubernetes/ssl
 cp -r *.pem /etc/kubernetes/ssl


 mkdir -p /alidata/dockerdata/ssl
 cp -r *.pem /alidata/dockerdata/ssl
  • 用法
docker run --name lingserver-kubernetes -t -i --privileged -v /alidata/dockerdata/ssl/:/etc/kubernetes/ssl registry.cn-hangzhou.aliyuncs.com/ling/lingserver-centos:latest /bin/bash

参考

tags: etcd

部署高可用 etcd 集群

kuberntes 系统使用 etcd 存储所有数据,本文档介绍部署一个三节点高可用 etcd 集群的步骤,这三个节点复用 kubernetes master 机器,分别命名为`etcd-host0`、`etcd-host1`、`etcd-host2`:

  • etcd-host0:www.ling2.cn
  • etcd-host1:surface.ling2.cn

安装

ectd-htts etcd-yum

在所有的 kubernetes master 节点重复上面的步骤,直到所有机器的 etcd 服务都已启动。

开放端口

参考Ling-iptables

验证服务

在任一 etcd 集群机器上执行如下命令:

netstat -tunlp
 export NODE_IPS="www.ling2.cn surface.ling2.cn"
 for ip in ${NODE_IPS}; do
  ETCDCTL_API=3 /root/local/bin/etcdctl \
  --endpoints=http://${ip}:2379  \
  --cacert=/etc/kubernetes/ssl/ca.pem \
  --cert=/etc/kubernetes/ssl/kubernetes.pem \
  --key=/etc/kubernetes/ssl/kubernetes-key.pem \
  endpoint health; done

ETCDCTL_API=3 /root/local/bin/etcdctl \
 --endpoints=http://www.ling2.cn:2379  \
 --cacert=/etc/kubernetes/ssl/ca.pem \
 --cert=/etc/kubernetes/ssl/kubernetes.pem \
 --key=/etc/kubernetes/ssl/kubernetes-key.pem \
 endpoint health


ETCDCTL_API=3 /root/local/bin/etcdctl \
 --endpoints=http://surface.ling2.cn:2379  \
 --cacert=/etc/kubernetes/ssl/ca.pem \
 --cert=/etc/kubernetes/ssl/kubernetes.pem \
 --key=/etc/kubernetes/ssl/kubernetes-key.pem \
 endpoint health

预期结果:

2017-04-10 14:50:50.011317 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
https://10.64.3.7:2379 is healthy: successfully committed proposal: took = 1.687897ms
2017-04-10 14:50:50.061577 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
https://10.64.3.8:2379 is healthy: successfully committed proposal: took = 1.246915ms
2017-04-10 14:50:50.104718 I | warning: ignoring ServerName for user-provided CA for backwards compatibility is deprecated
https://10.66.3.86:2379 is healthy: successfully committed proposal: took = 1.509229ms

三台 etcd 的输出均为 healthy 时表示集群服务正常(忽略 warning 信息)。

Kubernetes集群安装

easypack-Kubernetes

systemctl start kubelet
systemctl stop kubelet

Kubernetes集群安装#environment.sh

  • node 和master节点上执行

部署 kubectl 命令行工具 配置kubeconfig文件

  • master执行

部署Kubernetes master节点

  • node执行

部署Kubernetes Node 节点


copy ecs服务器上内容

  • 将 `~/.kube/config` 文件拷贝到运行 `kubelet` 命令的机器的 `~/.kube/` 目录下。
  • 将两个 kubeconfig 文件拷贝到所有 Node 机器的 /etc/kubernetes/ 目录:
cd /alidata/dockerdata/ssl
cp bootstrap.kubeconfig kube-proxy.kubeconfig /etc/kubernetes/