用 helm 安裝的話，好像沒什麼好寫的，呃
helm install stable/prometheus-operator --name prometheus --namespace monitoring
搞定了!
先把 promthues 和 grafana 的 service type 改為 Loadbalancer ，來看看安裝結果。
咦？首先從 prometheus 的 UI -> Status -> Targets 看到 etcd 的 endpoints 狀態是 down
cluster 正常的情況下， etcd 的狀態不可能是 down 的，所以這應該是 prometheus 設定問題。
查了一下資料，這是因為 etcd 預設是需要憑證才能 access (如果是用 kubeadm 安裝的話)。就好像用 etcdctl 的話，要指定 ca crt key 等憑證的參數才能 access etcd 一樣。
從查到的資料來看，文章裡的解決方法，已經不適合目前安裝的版本 (prometheus-operator-5.7.0)。
目前的版本已經考慮到這個情況，在 values.html 已經提供可參考的設定方式。
helm fetch stable/prometheus-operator
tar zxvf prometheus-operator-5.7.0.tgz
然後修改 prometheus-operator/values.yaml 及相關設定，流程大致如下：
1. 尋找 etcd 相關的設定，可以看到有提供相關的設定，在 serviceMonitor 的後面調整為
schema: https
caFile: "/etc/prometheus/secrets/etcd-certs/ca.crt"
certFile: "/etc/prometheus/secrets/etcd-certs/healthcheck-client.crt"
keyFile: "/etc/prometheus/secrets/etcd-certs/healthcheck-client.key"
2. 尋找 secrets 的設定，調整為
secrets:
- etcd-certs
3. 先還不要更新 helm package ，上面第二個設定的意思是，要把能夠 access etcd 的幾個憑證檔放到 etcd-certs 這個 secrets (這個 secrets 不存在，是要自行建立的)
kubectl -n monitoring create secret generic etcd-certs --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.crt --from-file=/etc/kubernetes/pki/etcd/healthcheck-client.key --from-file=/etc/kubernetes/pki/etcd/ca.crt注意，這是要在 master node 上執行的，因為如果是用 kubeadm 安裝的話，這幾個憑證在 master node 才有。如果 etcd 是自行安裝，或是透過其他方式如 kubespray 安裝的話，就要自行調整產生 secrets 的方法了。
4. 可以更新 helm package 了
helm upgrade -f prometheus-operator/values.yaml prometheus stable/prometheus-operator
到這邊算是修改完成了，從 prometheus UI 上已經可以看到 etcd dashboard 裡有資料了。
遇到問題的話，可以檢查幾個地方
1. 檢查 servicemonitors 裡 etcd 相關的設定， servicemonitors 是 operator 建立的 CRD
kubectl -n monitoring edit servicemonitors prometheus-prometheus-oper-kube-etcd看裡面的設定是否有包含 values.yaml 裡有關憑證的設定
2. 檢查 pods 路徑下是否有確實把指定的 secrets 掛載起來
#kubectl -n monitoring exec -it prometheus-prometheus-prometheus-oper-prometheus-0
$ ls /etc/prometheus/secrets/etcd-certs/
沒有留言:
張貼留言