數(shù)據(jù)中心的日志主要來(lái)自三個(gè)方面：一是設(shè)備層，對(duì)數(shù)據(jù)中心內(nèi)的各種設(shè)備進(jìn)行監(jiān)控，如：交換機(jī)、路由器、安全設(shè)備、服務(wù)器、UPS、精密空調(diào)等，實(shí)現(xiàn)物理層實(shí)時(shí)監(jiān)控和數(shù)據(jù)采集;二是系統(tǒng)層，對(duì)數(shù)據(jù)中心主機(jī)(Linux主機(jī)和x86服務(wù)器)、操作系統(tǒng) (Linux/Winwdos)、數(shù)據(jù)庫(kù)(Oracle、Mysql等主流)、中間件、存儲(chǔ)系統(tǒng)、應(yīng)用軟件API、HTTP端口、備份系統(tǒng)、容災(zāi)系統(tǒng)、數(shù)據(jù)同步系統(tǒng)、虛擬化系統(tǒng)，云平臺(tái)等進(jìn)行實(shí)時(shí)監(jiān)控、預(yù)警分析和故障定位;三是業(yè)務(wù)層，采集一定的業(yè)務(wù)數(shù)據(jù)，如用戶數(shù)、連接數(shù)、業(yè)務(wù)并發(fā)量、日志量等等，通過(guò)多維關(guān)聯(lián)和分析，對(duì)未來(lái)的業(yè)務(wù)運(yùn)行進(jìn)行分析和預(yù)測(cè)。這些日志有些是設(shè)備運(yùn)行中主動(dòng)輸出的，有些則是運(yùn)維的人員通過(guò)特定命令到設(shè)備上采集到的，通過(guò)對(duì)這些日志進(jìn)行分析，從而對(duì)設(shè)備、系統(tǒng)以及業(yè)務(wù)的運(yùn)行情況進(jìn)行評(píng)估，一旦發(fā)現(xiàn)異常，立即采取處理。

　　

　　顯然，海量的日志如不經(jīng)過(guò)處理，直接輸出到監(jiān)控平臺(tái)，那將是非常多的。

　　

　　首先，做標(biāo)準(zhǔn)化處理。數(shù)據(jù)中心要有各種日志的采集系統(tǒng)，將所有日志匯集起來(lái)，這些日志來(lái)自不同設(shè)備、不同系統(tǒng)、不同業(yè)務(wù)，格式和含義都不一樣，數(shù)據(jù)中心要做標(biāo)準(zhǔn)化處理，轉(zhuǎn)換成統(tǒng)一識(shí)別的格式，這個(gè)格式完全由數(shù)據(jù)中心定義，由技術(shù)人員進(jìn)行轉(zhuǎn)義，形成標(biāo)準(zhǔn)化的日志語(yǔ)言;

　　

　　第二，做日志過(guò)濾。日志經(jīng)過(guò)標(biāo)準(zhǔn)化處理，整齊劃一，格式統(tǒng)一，但數(shù)量仍沒有減少，所以需要做過(guò)濾。過(guò)濾的原則是將級(jí)別低的、操作類的、提示類的日志過(guò)濾掉，將級(jí)別高的、異常類的日志留下來(lái)。具體到各種設(shè)備的日志，要由設(shè)備商提供全系列的日志信息，并標(biāo)注優(yōu)先級(jí)和表達(dá)的含義，由數(shù)據(jù)中心將這些信息輸入到知識(shí)庫(kù)中，作為過(guò)濾判斷的條件，知識(shí)庫(kù)是一個(gè)逐漸積累的過(guò)程，不僅是日志的過(guò)濾，還包括各種故障的處理方法、經(jīng)典案例、解決方案等等，經(jīng)過(guò)知識(shí)庫(kù)的過(guò)濾，將大部分的無(wú)用日志排除掉;

　　

　　第三，做壓縮歸并，將過(guò)濾后的日志同類的要?dú)w一化，尤其是在知識(shí)庫(kù)中已經(jīng)存在過(guò)的，這類日志如何處理，在知識(shí)庫(kù)中可以找到答案，這時(shí)可以直接按照知識(shí)庫(kù)的指導(dǎo)來(lái)做。如果沒有遇到過(guò)的日志，則要交給下一級(jí)繼續(xù)處理，通過(guò)壓縮歸并也可以將日志的數(shù)量再次減少;

　　

　　第四，做關(guān)聯(lián)分析，很多日志的來(lái)由都是有根源的，比如在一臺(tái)運(yùn)行中的網(wǎng)絡(luò)設(shè)備上突然有一條OSPF鏈路震蕩了，那么可以檢查一下在同一時(shí)間，是否也有其它OSPF鄰居也震蕩了，如經(jīng)過(guò)日志檢查，在另外多臺(tái)設(shè)備上也有OSPF震蕩，并且都集中連接到一臺(tái)設(shè)備，而這臺(tái)設(shè)備再查日志原來(lái)有人正在做reset ospf主動(dòng)運(yùn)維的操作，當(dāng)通過(guò)這系列的關(guān)聯(lián)分析，就可以找到原因，及時(shí)將這種人為操作的原因告訴監(jiān)控中心，并不會(huì)作為一種異常的故障告警出現(xiàn);

　　

　　第五，做定位分析。將預(yù)期內(nèi)產(chǎn)生的日志消除后，來(lái)到第五步，這時(shí)的日志往往需要深入分析，如果在現(xiàn)有的知識(shí)庫(kù)里找不到解決方案，并且日志本身的告警級(jí)別還很高，這時(shí)就要輸出告警了，經(jīng)過(guò)這五步處理，能夠輸出告警的日志已經(jīng)很少了。

　　

　　日志經(jīng)過(guò)以上五個(gè)步驟處理，能夠精簡(jiǎn)多少，這取決于現(xiàn)有的知識(shí)庫(kù)，知識(shí)庫(kù)內(nèi)容越豐富，信息越準(zhǔn)確，精簡(jiǎn)下來(lái)的日志就越少。試想哪個(gè)數(shù)據(jù)中心會(huì)天天發(fā)生故障，一個(gè)月發(fā)生一次都了不得，否則早就關(guān)門大吉了，所以數(shù)據(jù)中心里每天產(chǎn)生的日志很多很多，而絕大部分的日志都影響不大，甚至無(wú)影響。當(dāng)然，這種日志過(guò)濾也不排除將一些關(guān)鍵日志過(guò)濾掉了，導(dǎo)致出了問(wèn)題，卻沒有告警，這是一個(gè)逐步完善的過(guò)程。現(xiàn)在AI技術(shù)這么火，也火到了數(shù)據(jù)中心運(yùn)維領(lǐng)域，其實(shí)就是利用AI技術(shù)，對(duì)數(shù)據(jù)中心的知識(shí)庫(kù)進(jìn)行學(xué)習(xí)，以便可以對(duì)新增的日志進(jìn)行準(zhǔn)確判斷，這個(gè)過(guò)程靠人工完成效率太低了，而利用機(jī)器學(xué)習(xí)，則可以瞬間完成，這也是智能運(yùn)維研究的一個(gè)重要方向，通過(guò)AI處理數(shù)據(jù)中心的海量日志。

　　

　　數(shù)據(jù)中心如何面對(duì)日志海洋?歸納起來(lái)就三個(gè)字：“簡(jiǎn)、智、深”，精簡(jiǎn)日志數(shù)量，過(guò)濾無(wú)用或無(wú)害日志;利用現(xiàn)有知識(shí)庫(kù)學(xué)習(xí)，智能分析日志產(chǎn)生的影響和后果;深度學(xué)習(xí)日志，輸出學(xué)習(xí)結(jié)果，根據(jù)日志做出判斷和自決，數(shù)據(jù)中心系統(tǒng)自動(dòng)執(zhí)行解決方案：切流量或者隔離故障設(shè)備，也可能是調(diào)整配置等等，自動(dòng)進(jìn)行處理，這種情況只要將處理結(jié)果反饋到監(jiān)控平臺(tái)即可，甚至都可以不用給出日志告警，作為普通事件處理。只有AI不知如何處理時(shí)，再將告警日志交給監(jiān)控平臺(tái)，由人工干預(yù)，處理完畢后再將本次的日志處理交給AI學(xué)習(xí)，同類日志再次出現(xiàn)時(shí)，系統(tǒng)就可以自行處理，不再需要人工干預(yù)，構(gòu)建這樣一個(gè)學(xué)習(xí)日志系統(tǒng)，就是智能運(yùn)維的開始。