大家好，我是君哥。

監(jiān)控系統(tǒng)在科技公司非常重要，它可以讓運(yùn)維人員和研發(fā)人員提前發(fā)現(xiàn)問題、定位問題，進(jìn)而解決問題。

在我們實際工作中，使用的監(jiān)控往往五花八門，比較混亂，今天來聊一聊怎么規(guī)劃公司的監(jiān)控架構(gòu)。

1.指標(biāo)采集

監(jiān)控指標(biāo)采集為監(jiān)控提供原始數(shù)據(jù)，是監(jiān)控系統(tǒng)的基礎(chǔ)。

1.1 系統(tǒng)指標(biāo)

當(dāng)我們使用 Prometheus 做監(jiān)控時，我們可以使用 Node Exporter 收集系統(tǒng)指標(biāo)進(jìn)行監(jiān)控，比如內(nèi)存、CPU、磁盤、文件描述符等信息。

1.2 數(shù)據(jù)庫/中間件

數(shù)據(jù)庫和中間件故障對業(yè)務(wù)影響會非常大，極端情況下可能讓業(yè)務(wù)停擺。因此必須有配套的數(shù)據(jù)庫中間件監(jiān)控。

對于數(shù)據(jù)庫和中間件，采集數(shù)據(jù)庫所在機(jī)器的系統(tǒng)信息如內(nèi)存、CPU、磁盤是必須的。

對于數(shù)據(jù)庫，也需要采集 SQL 執(zhí)行時長、數(shù)據(jù)庫日志等作為監(jiān)控指標(biāo)。

對于中間件，可以采集吞吐量、平均響應(yīng)時長，以及中間件自己的一些指標(biāo)。比如 kafka 的 ISRShrink/ISRExpand。

JVM 相關(guān)指標(biāo)，比如堆內(nèi)存、FULL GC 頻率和時長、線程使用情況。

1.3 業(yè)務(wù)指標(biāo)

業(yè)務(wù)系統(tǒng)的監(jiān)控指標(biāo)因為業(yè)務(wù)的復(fù)雜性，會非常復(fù)雜和龐大。

接口請求數(shù)量、平均響應(yīng)時間、成功率。這部分指標(biāo)可以使用網(wǎng)絡(luò)抓包來獲取。

業(yè)務(wù)整體運(yùn)行情況，這部分指標(biāo)有兩種方式，一個是通過采集業(yè)務(wù)日志來獲取，第二個業(yè)務(wù)代碼主動推送執(zhí)行，比如把運(yùn)行情況抽象成指標(biāo)保存數(shù)據(jù)庫，或者通過消息隊列發(fā)送給采集系統(tǒng)。

2.指標(biāo)保存

收集到監(jiān)控指標(biāo)后，要想把這些指標(biāo)展示給運(yùn)維人員，就需要先把指標(biāo)保存下來。Prometheus 將監(jiān)控數(shù)據(jù)保存在 TSDB，一些公司選擇引入外部時序數(shù)據(jù)庫，比如 VictoriaMetrics 這款時序數(shù)據(jù)庫就被很多公司采納。

有些指標(biāo)采集的量比較小，也可以采用關(guān)系數(shù)據(jù)庫做存儲，對研發(fā)運(yùn)維人員來說學(xué)習(xí)成本比較低。

小公司一般使用開源的工具就可以滿足指標(biāo)保存的需求。在大公司，業(yè)務(wù)類型廣泛，指標(biāo)數(shù)據(jù)量較大，需要規(guī)劃指標(biāo)保存方案，引入多種保存方式。

3.指標(biāo)加工

對于僅僅監(jiān)控一些特定指標(biāo)的情況下，只要采集到數(shù)據(jù)，正常展示出來，就可以實現(xiàn)監(jiān)控目標(biāo)。但這只能用于較簡單的監(jiān)控指標(biāo)，比如一個接口的請求次數(shù)。

從宏觀角度看，業(yè)務(wù)側(cè)更關(guān)注的是總體數(shù)據(jù)，比如昨天交易成功的業(yè)務(wù)數(shù)量，失敗的業(yè)務(wù)數(shù)量。他們只會花時間看監(jiān)控大盤。這個時候就需要進(jìn)行一些數(shù)據(jù)加工、匯總。

因此，指標(biāo)加工也是非常重要的。這個工作也可以交給公司的大數(shù)據(jù)團(tuán)隊來承接。

4.指標(biāo)展示

完成指標(biāo)采集和加工后，怎樣清晰優(yōu)雅地展示給用戶，是監(jiān)控設(shè)計中的一個重要環(huán)節(jié)。

知名的監(jiān)控工具比如 Prometheus、Zabbix 都有成熟的可視化界面，可以清晰地展示給用戶。但要滿足更復(fù)雜、更高要求的監(jiān)控場景，這些工具很難滿足需求。

這時候就需要技術(shù)團(tuán)隊自己開發(fā)指標(biāo)可視化工具，這里不僅包括監(jiān)控大盤，還包括給不同人員看的監(jiān)控頁面，比如給業(yè)務(wù)看的，給運(yùn)維看的，給研發(fā)看的。

5.監(jiān)控告警

有了指標(biāo)采集、加工和展示，其實只完成了監(jiān)控系統(tǒng)的準(zhǔn)備工作，監(jiān)控告警是我們規(guī)劃監(jiān)控系統(tǒng)的重要目標(biāo)。

監(jiān)控告警的目標(biāo)是讓相關(guān)人員能夠提前感知到問題，及時采取措施，防止問題擴(kuò)大。

為了節(jié)省系統(tǒng)資源，監(jiān)控告警也是需要分級別的，根據(jù)問題嚴(yán)重程度、業(yè)務(wù)影響范圍來規(guī)劃告警級別。這就要求業(yè)務(wù)系統(tǒng)在需求階段就要明確業(yè)務(wù)的重要性，輔助確定監(jiān)控級別。

比如涉及金錢的交易系統(tǒng)、支付系統(tǒng)、賬務(wù)系統(tǒng)，對于公司來說非常重要，可以把他們定義成嚴(yán)重級別，監(jiān)控到問題后，通過短信、OA 消息通知到值班運(yùn)維人員，這樣值班運(yùn)維人員可以根據(jù)問題情況及時通知到相關(guān)研發(fā)人員，即使問題發(fā)生在半夜也能很快地采取措施。

對于影響較小的業(yè)務(wù)系統(tǒng)、批量交易，可以定義成主要級別，發(fā)生問題后，短信或 OA 實時通知到系統(tǒng)負(fù)責(zé)人就可以。

對于沒有業(yè)務(wù)影響的交易，可以定義成次要級別，問題發(fā)生后，只需要郵件通知到開發(fā)人員，而且不用實時通知，每天集中一次或者幾次就可以。

6.應(yīng)急方案

應(yīng)急方案需要提前進(jìn)行設(shè)計、演練，這樣可以防患于未然。假如一個嚴(yán)重級別的告警半夜 2 點觸發(fā)了，研發(fā)人員睡夢中被叫醒，如果沒有應(yīng)急方案，勢必會非常慌亂。

應(yīng)急方案可以根據(jù)系統(tǒng)的實際情況進(jìn)行設(shè)計，比如重啟服務(wù)、接口限流、熔斷、集群擴(kuò)容、故障節(jié)點摘除等。

7.總結(jié)

監(jiān)控系統(tǒng)對于科技公司來說，非常重要。我們可以從指標(biāo)采集、指標(biāo)保存、指標(biāo)加工、指標(biāo)展示、監(jiān)控告警、應(yīng)急方案這些方面來進(jìn)行設(shè)計。希望本文對你設(shè)計監(jiān)控架構(gòu)有所幫助。