istio 的安裝設定調整 (1)

關於 istio 的安裝設定，先從外圍的 prometheus 和 grafana 講起，這次安裝的版本是 istio 1.2.0

istio 官方文件的安裝方式裡，預設會安裝一份 prometheus ，也可以調整選項把 grafana 的安裝給 enable。

因為已經安裝了 prometheus-operator ，希望能夠整合到一起。
比較簡單的方式，就是讓 istio 依照預設也安裝一份 prometheus ，然後從 prometheus-operator 的 granfana 新增一個 data source 即可。
不過最好的情況，當然還是維持只有一個 prometheus 是比較好的做法。

這邊有一篇文章說明了如何用 prometheus-oprator 來收集 isito 的資訊。
我是設定好後才看到上面那篇文章，做法上大致相同，只是我用的方式比較刻苦一點。

先取得 istio 裡的 prometheus 的 config ，最簡單的方法是先依預設方式安裝好一份 istio ，然後從裝好的 prometheus 裡取出設定檔，或者依照上面那篇文章提供的設定內容。

原本以為直接修改 prometheus  secrets 裡的設定就好，發現 secrets 裡的設定檔是壓縮過的格式 prometheus.yaml.gz 。不過想說這也不是什麼大問題，取出來解壓縮，修改完在壓縮後更新回去就好。

kubectl -n monitoring get secrets prometheus-prometheus-prometheus-oper-prometheus -o jsonpath='{.data.prometheus\.yaml\.gz}' | base64 -d | gunzip > /tmp/prometheus.yaml

然後把前面取出的設定整合到 /tmp/prometheus.yaml ，然後 gzip、base64 最後 kubectl edit 貼回 secret 就搞定。

咦？不 work 。仔細一看，kubectl edit 修改完儲存後，再進去又變回原本的內容。

仔細查看 prometheus-operator 的機制，是要透過另外的 secrets 來新增 scrape config
最簡單的方式，就是在 prometheus-operator values.yaml 的 additionalScrapeConfigs 加上自訂的 scrape config

如果之前沒有設定過 additionalScrapeConfigs ，那在這次設定完之後，會發現安裝的 namespace 下多了一個 secrets prometheus-prometheus-oper-prometheus-scrape-confg，新增的設定就在這個 secret 裡

kubectl -n monitoring get secrets prometheus-prometheus-oper-prometheus-scrape-confg -o jsonpath='{.data.additional-scrape-configs\.yaml}' | base64 -d

這個沒有 gzip 壓縮過了，之後如果要再新增 scrape config，可以直接修改這個 secret，就可以不用再透過 values.yaml 了。雖然透過 helm 來更新還是比較方便的，不過經常是因為在測試設定的方式來做更新，一直透過 helm 會讓安裝版本記錄更動太多。比較好的方式是測試設定正確後，再修改 values.yaml 做更新，這樣可以確保 helm history 裡的安裝歷史紀錄的版本都是可以運作的。

把 prometheus 搞定後，剩下的 grafana 就比較簡單了。

我是直接把 istio 目錄下的 charts/grafana/dashboards/ 裡的所有 json file ，一個一個從 grafana UI 裡做 import 。如果有些 dashboard 沒資料，可能是因為 promethues scape config 沒設定好的關係，不過至少 gallary pilot mixer 三個 dashboard 應該是有資料的。

簡單的部分先到這邊了。