垃圾郵件(未經(jīng)許可的商業(yè)郵件或不受歡迎的非法郵件)成為1990年以來一直困擾著互聯(lián)網(wǎng)的問題。那時，互聯(lián)網(wǎng)越來越商業(yè)化，越來越接近消費者。一開始只是感覺到少數(shù)人制造一些電子廣告，而現(xiàn)在垃圾郵件占用了目前大部分的郵件空間。垃圾郵件造成惡性商業(yè)形象，損害了郵件使用者的利益，占用，而且它對公司的網(wǎng)絡系統(tǒng)和網(wǎng)絡可信度，效率和安全性造成嚴重的威脅。

垃圾郵件不是科技發(fā)展的結(jié)果

大多數(shù)關于垃圾郵件的討論圍繞在技術層面。然而，驅(qū)使垃圾郵件不斷增加的卻是經(jīng)濟原因，要求發(fā)送者的商業(yè)公司為發(fā)送垃圾郵件支付的巨額費用。

Ferris市場調(diào)查公司在2004年的研究表明，美國的公司每年被大量的垃圾郵件消耗掉100億美元。同時，對于公司和消費者來說，相比動輒數(shù)百萬的廣告費來說，垃圾郵件的花費是最少的。發(fā)送數(shù)百萬封垃圾郵件的費用，也許通過少量生意就可以賺回來。這樣，即使垃圾郵件的回應率極端的低(舉例來說，一千萬封電子郵件廣告之后可能只產(chǎn)生100個銷售量)，但是與傳統(tǒng)合法的廣告媒體相比，，它仍然有利可圖。因而垃圾郵件在很長一段時間會存在，反垃圾郵件是一項長期而艱巨的工作。

信息產(chǎn)業(yè)緩慢回應

從1990年開始，垃圾郵件就成為網(wǎng)絡服務商(ISPs)和企業(yè)的頭號難題。ISPs和企業(yè)不得不采取行動來遏制對郵件服務器和網(wǎng)絡造成威脅的垃圾郵件。

盡管這個問題廣泛的被信息行業(yè)所承認，但之前卻鮮有反垃圾郵件的工具和技術。信息行業(yè)，包括郵件服務商和相關產(chǎn)品，以及行業(yè)標準，對于垃圾郵件問題都反應頗慢——最初都低估了垃圾郵件的數(shù)量和技術復雜性。

從反垃圾郵件的歷史

第一代反垃圾郵件技術

很難明顯的區(qū)分在大多數(shù)MTA上已經(jīng)具有的反垃圾郵件功能和第一代反垃圾郵件產(chǎn)品功能，因為這些已經(jīng)存在的反垃圾郵件功能加上新開發(fā)的功能在很大程度上幫助解決了垃圾郵件問題。 標題和信頭測試，和簡單的測試一樣,主要是由于需要抵制垃圾郵件來推動的.

基礎MTA控制

MTA協(xié)議應該能控制基于每個域名的通訊連接，比如，防止“開放轉(zhuǎn)發(fā)”并不能當作一種獨立的反垃圾郵件技術。因為協(xié)議是在早期還沒有產(chǎn)生垃圾郵件問題時被提出的，并沒有預見到會有這些基本的安全隱患。

以梭子魚垃圾郵件防火墻為例，(下稱“梭子魚”)，其包含的拒絕服務攻擊防護和速率控制技術，屬于MTA控制的范疇。拒絕服務攻擊防護是指對于IP連接數(shù)量的限制，當一個IP連接數(shù)過多的時侯，會禁止其連接，以免服務器資源被過度消耗，另外，對連接的時間也有限制。在郵件協(xié)議上，用戶可以自定義超時設置。此外，梭子魚內(nèi)置的并發(fā)連接數(shù)控制都對這類攻擊有明顯的抑制。

梭子魚通過專利認證的十層過濾中第三層“速率控制”能夠扼制海量郵件的發(fā)送，拒絕虛假發(fā)件人。直接效果就是釋放了垃圾流量占用的大量帶寬。

白名單和黑名單

黑名單(Black )和白名單(White List)。分別是已知的垃圾郵件發(fā)送者或可信任的發(fā)送者IP地址或者郵件地址?，F(xiàn)在有很多組織都在做*bl(block list)，將那些經(jīng)常發(fā)送垃圾郵件的IP地址(甚至IP地址范圍)收集在一起，做成block list。

目前很多端都采用了黑白名單的方式來處理垃圾郵件，包括MUA和MTA，當然在MTA中使用得更廣泛，這樣可以有效地減少服務器的負擔。

梭子魚的BL一部分采用國際上共享的列表，公司有專門部門收集整理BL。實時動態(tài)更新。白名單則與黑名單相反，對于那些信任的郵件地址或者IP就完全接受了，由用戶自定義設置。

簡單的關鍵字搜索

簡單的關鍵字搜索一直是對抗垃圾郵件的基本方法。這一功能存在于垃圾郵件成為互聯(lián)網(wǎng)的主要問題之前，那時作為內(nèi)容過濾的一部分和基于反病毒產(chǎn)品的解決方案和服務。

因為它沒有文字變化或者上下文對照，所以這種方式只能用作鑒別垃圾郵件的辦法之一，但存在很多錯誤，合法郵件被誤判為垃圾郵件。

梭子魚400型號以上產(chǎn)品具有用戶自定義控制功能，即用戶自行定義關鍵字，來決定系統(tǒng)對過往郵件的評分。

標題過濾和頭測試

信頭測試意味著郵件已通過SMTP協(xié)議。例如信件的寄件人和收件人，如果不合法的信息被傳輸?shù)臅r候,...將遞送一個通告并拒絕遞送該信息。信頭測試是從收件人，發(fā)件人和日期中測試有問題的郵件，如果包含錯誤形式或者信息便予以阻止。

這些能力用于刪除垃圾郵件是非常有效的，他們最后保證郵件是被正確的傳送，不管是不是垃圾發(fā)送者發(fā)出的信件，只要其中包含了垃圾郵件的信息就會被攔截，否則就說明郵件的轉(zhuǎn)發(fā)者沒有安裝反垃圾郵件設備。

梭子魚所有型號都可以設置或者用戶自定義設置標題，信頭黑白名單，是系統(tǒng)對郵件的評分標準之一。

簡單的DNS測試

使用SMTP協(xié)議交換發(fā)送者信息的時候查詢發(fā)送者的互聯(lián)網(wǎng)域名可以驗證這些信息是否準確。比如，查詢發(fā)送者的域或者發(fā)送郵件的主機名是否存在(通過查詢發(fā)送者域的IP地址和主機名是否對應)

簡單的DNS測試幫助防治“電子欺騙”(當一臺機器使用虛假用戶名的時候).盡管簡單的DNS測試是阻斷垃圾郵件的重要工具，他們只根據(jù)發(fā)送者的用戶名和地址進行阻斷，不論寄件人是一個垃圾郵件發(fā)送者或者信件本身是一封垃圾郵件，因此不是一個反垃圾郵件技術。簡單的DNS是一項比較弱的技術，因為無法指示出郵件是垃圾郵件的必然原因。

梭子魚的Dns反查系統(tǒng)，新型反向查找技術是簡單DNS測試的綜合應用。

第二代反垃圾郵件技術

即時黑名單和電子簽名是第二代反垃圾郵件技術，因為他們不是為了反垃圾郵件而把現(xiàn)有的MTA技術簡單的重復或者延伸。第二代反垃圾郵件技術的存在完全為了制止垃圾郵件和對先前的技術進行改良。

實時黑名單

盡管在基于網(wǎng)址和域名上它是一個DNS測試， RBLs是真實的反垃圾郵件技術，在RBLs之后的概念是簡單的維護一個發(fā)送垃圾郵件的網(wǎng)址，以阻止垃圾郵件的繼續(xù)發(fā)送。

這種技術會有一定的效果，但容易被繞過。比如，改變IP地址，或者利用第三方的服務器來發(fā)送垃圾郵件。同樣地，域名很容易被獲得，并被垃圾郵件發(fā)送者利用，因而不能完全依賴它來判別垃圾郵件。

也被稱為DNSRBLs, 梭子魚檢查所有收到郵件的IP地址，與在RBL中的IP地址核對來阻斷垃圾郵件。

電子簽名

這是對于垃圾郵件防御有重大意義的一項技術。電子簽名技術就是,如果垃圾郵件以大量的相同信息發(fā)送，可以用電子簽名技術產(chǎn)生一個唯一的電子簽名來收集和辨別垃圾郵件。如果能夠獲得充足的垃圾郵件樣本，對于降低垃圾郵件的比率有重要意義。但是這種技術需要及時操作才能達成效果。

例如梭子魚先設置蜜罐(誘騙郵件地址)，是用于收集大量的垃圾郵件。采集完成后，指紋識別技術就處理垃圾郵件，生成一個已知垃圾郵件數(shù)據(jù)庫。這就是梭子魚的指紋識別技術。

第三代反垃圾郵件技術

用鑒別垃圾郵件(簽名)和即時黑名單(RBLs)的方法來抵御垃圾郵件注定失敗。垃圾郵件發(fā)送者能夠輕易的繞過即時黑名單，最好的電子簽名技術也無法達到百分之百的正確率。大約在2002年，在互聯(lián)網(wǎng)和軟件行業(yè)中有一項全新的技術。

貝葉斯過濾

貝葉斯過濾，利用統(tǒng)計學的方法檢測垃圾郵件，基于垃圾郵件中單個詞語的出現(xiàn)概率來判定，這是反垃圾郵件技術上的第一個突破，貝葉斯過濾技術的發(fā)展從根本上把反垃圾郵件的重點從網(wǎng)絡和協(xié)議改變?yōu)猷]件內(nèi)容。

簡單的貝葉斯過濾，對大多數(shù)的垃圾郵件是有效的，容易被繞過。這種技術是用已經(jīng)收到的垃圾郵件來培訓系統(tǒng)，從而產(chǎn)生一個基于規(guī)則評分的系統(tǒng)，來為每封郵件評分。

垃圾郵件發(fā)送者會不斷的改變郵件的內(nèi)容，通常是增加詞匯或變種詞匯(例如，用印刷體字母取代數(shù)字，O取代0)。不斷變化中性詞語和其他郵件內(nèi)容以及創(chuàng)造變種詞匯，使得位于反垃圾郵件系統(tǒng)最后一個步驟的貝葉斯過濾常被繞過。

梭子魚的貝葉斯規(guī)則庫在出廠之前都經(jīng)過近萬封郵件的培訓，到達用戶之后，用戶繼續(xù)對其進行培訓，被“有效培訓”以后，過濾垃圾郵件的準確率達到99% 。

人工智能和機器語言學習

經(jīng)過貝葉斯過濾技術改進發(fā)展而來，目前將被廣泛的應用。

2003年左右，由于新的需求，專門的反垃圾郵件技術開始分離出來，并和一些高科技結(jié)合，不斷的發(fā)展起來。

基本上，這些技術執(zhí)行文件分級使用“非貝葉斯過濾技術”。根據(jù)垃圾郵件的變化進行自我更新，目前這一技術正將被廣泛使用。

梭子魚的基于規(guī)則的評分系統(tǒng)，是一個人工智能(AI)系統(tǒng) ，對發(fā)現(xiàn)的每一個關鍵詞賦予分數(shù) 。分數(shù)越高，該郵件是垃圾郵件的可能性就越高 ;得分超過一定值時，該郵件將被分類為垃圾郵件。這種方式可以清除90%的垃圾郵件。為使評分有效，規(guī)則必須經(jīng)常更新 。

第四代反垃圾郵件技術

垃圾郵件的存在原因還有一部分是因為，在SMTP創(chuàng)造之初，只是用于學校，政府和軍隊，因為是一個封閉的系統(tǒng)，所以不存在非法使用和電子郵件的濫用。1990年起，互聯(lián)網(wǎng)廣泛的應用于商業(yè)，但是之前的技術隱患仍然存在。垃圾郵件和反垃圾郵件活動必將長期存在，經(jīng)過了十幾年的發(fā)展，新興的反垃圾郵件技術也層出不窮。但無論哪一種技術，都無法完全應對多變的垃圾郵件。

例如:簡單的關鍵字搜索，會產(chǎn)生較多誤報。貝葉斯過濾需要經(jīng)常培訓才能適應不斷變化的垃圾郵件形式，達到較好的效果。黑名單/白名單因為是絕對性攔截/通過，使用的時候要非常謹慎。實時黑名單(RBLs)缺點是它們可能產(chǎn)生誤報，因為一些RBLs是具有激進性質(zhì)。故應謹慎選擇訂閱服務。對于DNS測試來說，很多反向DNS目錄未被有效建立 ，或無法正常建立，這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報告率。

以上諸多舉例可以說明，任何一種垃圾郵件阻斷技術都有優(yōu)點和缺點及限制，而垃圾郵件發(fā)送者一直試圖通過變化的發(fā)送技術繞過反垃圾郵件技術。因此，第四代反垃圾郵件技術偏向于采用一個全面包含最有效垃圾郵件阻斷技術的整體解決方案。

第四代反垃圾郵件技術的典型代表:梭子魚垃圾郵件防火墻

十大技術、十層過濾的純凈水式過濾模式

梭子魚采用十層過濾，逐層攔截垃圾郵件，該技術獲得了美國專利認證

■ 拒絕服務攻擊及安全防護層

■ IP實時黑名單

■ 速率控制

■ 第一層病毒檢查

■ 第二層病毒檢查

■ 用戶自定義規(guī)則

■ 垃圾郵件指紋檢查

■ 郵件意圖分析

■ 貝葉斯分析

■ 基于規(guī)則的評分系統(tǒng)

其檢測過程符合四條法則:

1 垃圾郵件終止法則:若某一層過濾判定該郵件不合法或為垃圾，則立即阻斷該郵件，結(jié)束進程，后面的各層檢查不再進行。

2 按序檢查法則:一個完整的垃圾郵件發(fā)送從“helo”命令(握手命令)開始，因此從該進程的第一條命令開始依次進行檢查。如發(fā)現(xiàn)為垃圾郵件，其余數(shù)據(jù)將不再接收。

3 低消耗優(yōu)先法則:占用系統(tǒng)資源較少的過濾層優(yōu)先，耗費系統(tǒng)資源大的過濾層靠后。這樣，系統(tǒng)能以最少的消耗處理最大量的郵件。

4 安全優(yōu)先法則，涉及到系統(tǒng)重要安全的檢查先進行。

經(jīng)過這樣的優(yōu)化，產(chǎn)品具有了強大的處理能力，日處理郵件量可達千萬封。

這種喇叭性的過濾機制，過濾流量最大的判別技術安置在最前面，人工職能和機器語言的過濾安排在最后。這樣能夠節(jié)省網(wǎng)絡資源，最大限度的保持準確性，降低誤判率。

早期的基礎技術在目前的應用環(huán)境中需要進行重組，市場的需求也召喚更多的新技術，最終引導反垃圾郵件事業(yè)的良性發(fā)展。