隨著互聯網應用的深入,越來也越多的企業和組織對IT系統的依賴也達到了前所未有的程度,而郵件系統則是最成熟、最關鍵、最常用的IT應用之一,已經成為人們進行“正式”網絡溝通、進行工作協調的最主要的工具。在這種情況下,全球日益泛濫的垃圾郵件對企業的業務造成了巨大的影響,人們對垃圾郵件也失去了以往的忍耐,著手采取各種措施來應對。
目前常見的反垃圾方案包括:
◆采用簡單的客戶端反垃圾郵件方案。這類方案一般是指啟用FOXMAIL、OUTLOOK等郵件客戶端的反垃圾郵件功能,他們具備最簡單的黑白名單功能,成為最原始、最經濟的反垃圾郵件需求。
◆采用專業反垃圾郵件企業和組織提供的專業反垃圾郵件網關型產品。這類產品專業、高效,能在郵件到達郵件服務器之前就進行有關“判定、處置”,可以有效的防范垃圾郵件和病毒郵件的危害,是目前為止最為專業的反垃圾郵件措施。這些專業產品包括:Cloudmark、青蓮、美訊智、梭子魚等。
◆采用由專業反垃圾郵件企業和組織提供的ASP反垃圾郵件服務,在郵件達到公司前,在第三方反垃圾郵件中心先進行過濾。提供專業反垃圾郵件服務的公司,國外主要有賽門鐵克,國內主要由青蓮提供的“青蓮凈郵”服務等。
對于企業級用戶,一般選擇采用專業反垃圾郵件網關設備是最好的選擇。 但,反垃圾郵件相對于傳統安全來講,是一個暫新的領域,其應用的技術和手段復雜而繁多,并且同殺病毒技術一樣,它一直在不斷的創新和提升。所以,如何選擇一款優秀的反垃圾郵件網關系統,對網管員和企業的采購決策者來講是一個嚴峻的挑戰。
與所有的網關型產品的選型考核思路一樣,我們從以下幾個方面來考量反垃圾郵件網關:技術先進,功能適用、性能卓越、服務周到,網管無憂
1.技術
我們購買任何產品,首先要關注的就是其產品的技術先進性和功能情況。 反垃圾郵件的技術發展到現在已經到“百花齊放”的階段,大概的來說,有這么幾個流派:
(1)內容過濾及經驗規則為主的。
這個技術流派,典型的包括內容過濾技術的關鍵字過濾、貝葉斯統計分析、URL過濾、郵件指紋過濾等等技術。這些都是比較基礎、比較成熟的反垃圾郵件技術。其中關鍵字過濾和貝葉斯是反垃圾郵件技術中,被證明為最成熟和有效的技術之一,為各種反垃圾郵件產品所廣泛采用。而指紋檢查技術,是典型的經驗規則技術,就是將收到的電子郵件特征與已經掌握的垃圾郵件特征知識庫比較,如果一樣或者相似程度非常高,就判定為垃圾郵件,這一技術也是反垃圾郵件產品中的基本技術和常見技術。
內容過濾技術和經驗規則基本上都是在內容層進行“包”數據分析,然后進行比對、判斷。 一般來說,應用這類技術的反垃圾郵件引擎對系統要求比較高,因為內容層的分析數據處理量比較大,如果數據結構、產品架構、設計語言、存儲技術、引擎結構等等有缺陷的話,會大大降低反垃圾郵件的能力。
(2)協議分析(就是部分公司宣傳時所提到的“行為分析”)
其實協議分析技術,在反垃圾郵件產品中就一直存在,只是到最近一兩年才被大家廣泛的說起,也是因為近年來通過非法的群發垃圾郵件的行為甚為猖獗而僅僅依靠“內容檢測和經驗規則”技術難以保證處理性能和效果的情況下,其效能才被放大。雖然“協議分析技術”近年來確實發展非常快,對于遏止垃圾郵件,特別是大批量群發的垃圾郵件有著很強的收效,但卻遠不是某些公司宣傳的那樣,是“第三代反垃圾郵件技術”,能夠“完全根治垃圾郵件”。
協議分析,說得簡單一點,就是在協議層對TCP/IP連接、SMTP等進行合規性檢查。比如,是否符合RFC 821標準?是否符合正常發件人的各種連接頻率數量?等等。一般是通過對正常郵件發送者TCP/IP連接頻率、郵件同時發送數量、頻率等特征進行一個合理的建模,對于超出正常值的部分則被認為是異?;蛘呷喊l行為;對于隱藏發件人真實地址、偽造發件人域名、郵件格式錯誤、認證信息不準等等都是針對郵件本身的標準合規性檢查。這是基于“小偷理論”來做的所謂的“行為分析”。一般來說,只有發垃圾郵件的人,才會隱藏各種信息、或者利用別人的郵件系統(計算機服務器)來發垃圾郵件,所以,如果在對郵件本身的格式標準檢查、來源檢查、認證檢查,就能夠找出這些“小偷”,從而判定其是否為垃圾郵件。
協議分析技術,對于明顯的群發垃圾郵件行為有很好的阻擋作用;但對于小批量的、小范圍的垃圾郵件發送卻無能為力,而且在中國還不能執行嚴格的郵件合規性檢查,比如DNS反向解析技術是一個典型的行為分析技術,我們可以通過這個技術發現“偽造發件地址”的群發,但中國大部分郵件系統沒有開啟反向DNS解析功能,那么在反垃圾郵件系統中采用這種技術,會造成太多的“誤殺”。
(3)智能混合型反垃圾技術(內容過濾與經驗規則+行為分析)
智能混合型反垃圾技術,簡單的說就是綜合了以上內容過濾與行為分析的反垃圾郵件技術。一般采用這類技術的產品,均需要有強大的過程化處理平臺技術。過程化處理,也是近一年來反垃圾郵件領域一個非常先進的技術。它通過先進的、智能的過程化處置機制,將各種反垃圾郵件技術,按照先后順序、有秩序、有側重點的對郵件進行合規性檢查、內容檢查和路由處置。典型的過程化處理平臺和混合型反垃圾郵件技術,以下圖為例:
 |
圖1:過程化處理平臺 |
過程化處理平臺技術,在保證反垃圾郵件的識別率和降低誤報率方面有獨特的優勢: 它采用的每一種反垃圾郵件技術在判定“垃圾”時,標準都比較寬松,以降低誤報率;同時采用的技術手段比較多,交叉判定,能夠保證垃圾郵件的識別率。
這種過程化的處理平臺,在處理郵件的前期,利用協議分析解決60%的明顯的垃圾郵件,對于余下的那些“疑難雜癥”則交給“內容檢測技術處理”,因此可以大大降低內容檢測對系統資源的占用,大幅度的提高系統的整體性能。
(4)其他新技術
由于垃圾郵件的泛濫,最近又出現了許多新技術,我們也做個簡單的介紹:
SPF:SPF是微軟公司推出的一種基于“信任模型”的反垃圾郵件技術。理論上來講,這種技術對解決垃圾郵件問題,很有效果;不過,可惜的是,目前全球99.99%的郵件系統不支持這一技術。想利用它去解決垃圾郵件問題,需要全面推廣和實施,否則正常的收發郵件都成問題,也就是說,以目前這種狀況,SPF技術“不可能”幫助我們去反垃圾郵件。所以,許多反垃圾郵件公司說“支持SPF”,但實際上,這對于反垃圾郵件來說,它無用武之地,完全可以不考慮。
OCR圖片掃描技術:由于近年來圖片垃圾的猖獗,有公司就號稱在其系統中應用了OCR技術,先不說這些公司能否在產品中應用OCR技術,就是OCR技術本身對圖片垃圾甚至可以說是無能為力的。簡單的舉個例子,我們只要在圖片的頭部增加光柵點,OCR技術就不能處理?,F在對于圖形垃圾,有效的、科學的方法是“雞尾酒”療法。青蓮反垃圾郵件網關的多維廣告圖片識別技術,就是一個典型。(雞尾法療法及針對圖片垃圾的技術,另附文專門介紹。)
信任網絡:信任網絡是指利用信任的協作網絡對垃圾郵件的判定結果,來確定這一封垃圾郵件是否應該被廣泛判定為垃圾郵件,如被判定為垃圾郵件,那么系統就將這一郵件的特征信息,傳播到所有的郵件用戶。實際上是一種規模宏大的“經驗規則”技術,或者說一種“策略型反垃圾技術”。它的前提是要有“相當大規模的用戶群,并且在用戶群中有相當多的信任用戶為他人做貢獻”。
小結:
技術的先進性是我們選購產品時最重要的一個參考因素之一,一個公司采用什么樣的技術決定著他們的產品現在和將來的水平,然而,我們在購買產品時,不僅僅要購買現在,也要購買一年以后。
對于以上的技術,我的建議是:盡量采用混合型技術的產品,因為內容過濾技術與經驗規則技術一定要有,僅僅行為分析是不能夠提供高的垃圾郵件識別率的;但混合型反垃圾郵件技術(主要是過程化處理平臺技術)只有少數公司掌握,所以求其次的是內容過濾與經驗規則技術路線。對于新技術,如圖片垃圾領域,我們需要密切關注,這是反垃圾的難點,也是將來的重點;而SPF技術,暫時不需考慮;信任網絡技術,要看他的信任用戶群,如果他是國際超級大公司,例如,它已經擁有1億以上的用戶群,可以考慮。