近日，據《法制日報》調查，有一些簡歷大數據公司利用爬蟲“偷”簡歷、推送垃圾廣告等；今年1月，界面新聞也曾報道超過2億求職者簡歷信息被泄露。
 

不法分子或競爭對手，通過非法手段獲取求職人員的家庭住址、手機號碼、郵箱、婚育狀況、教育背景等信息，再根據市場的不同需求，倒賣相關信息。例如，很多人會莫名收到婚戀網站、教育機構、房產中介機構等的電話、郵件信息，這讓包括應聘者在內的所有人不得不擔心個人信息安全問題，但普通人卻對這種行為束手無策。
 

而這些所謂的簡歷大數據公司或第三方平臺是如何輕易地“偷”走成千上萬份簡歷的呢？
 

信息泄露的多數情況是由于不法分子通過大量低頻爬蟲，非法收集數據，而這種爬蟲的訪問頻率甚至低至每小時幾次，平臺難以識別異常。另外則很大程度上來自競爭對手動用大量IP池，快速爬取平臺簡歷信息。
 

一般而言，成功爬出簡歷上的詳細信息，需要三個步驟：
 

1、確定目標平臺，設置好爬蟲參數以及解析模式后，爬蟲會自動尋找并收集目標頁面。
 

2、爬蟲對目標頁面進行解析，抽取有意義的信息。
 

3、將信息保存到本地數據庫，用于數據變現。
 

更為細思極恐的是，數據公司向不法分子或競爭對手直接提供爬蟲工具，有的爬蟲工具可以追蹤到每份簡歷修改了哪些地方，比如哪個版本修改了教育經歷，哪個版本修改了工作經歷，以及哪個版本修改了電話號碼、住址等。
 

目前由于使用爬蟲技術爬取簡歷的操作一直處于法律灰色地帶，所以不法分子更加肆無忌憚，這也是多數招聘公司和個人感到無能為力的地方。
 

當前很多工具反爬效果不佳，解決方案又因定制成本高，接入復雜，過度依賴規則、情報中心等而導致誤報率高，無法識別真正的安全問題及未知威脅，多數企業依然承受著平臺數據被“爬”的痛苦。
 

在上述背景下，白山云科技（下稱“白山”）旗下的云安全產品——ATD（深度威脅識別）打破了傳統安全產品局限性。
 

ATD產品通過實時流式大數據分析技術，基于無監督學習，利用動態行為建模、多源低頻威脅識別等大數據和人工智能技術，幫助平臺精準識別爬蟲、CC攻擊、撞庫、暴力破解、薅羊毛等各種攻擊。
 

ATD實時數據展示
 

ATD統計數據展示
 

同時，ATD的大數據離線UEBA（用戶行為分析），能讓平臺完全擺脫由于人工配置而導致的安全威脅容易遺漏、系統定制成本高、可維護性差的問題。在人工智能技術的基礎上，ATD內集成了SOAR（安全編排自動化響應）平臺，幫助企業實現任意的威脅處理邏輯。

   
此外，不少企業苦于接入第三方產品后，內部信息安全性無法保證，直接拒絕了使用除公司內部以外的安全產品，但ATD特有的旁路部署功能，無需嵌入業務內部系統，更無需企業修改代碼、配置等，就能有效發揮作用。

國內某著名招聘公司對安全問題高度重視，主動防范爬蟲風險。

   
該招聘平臺接入ATD產品后，ATD幫助其精準識別了非法爬蟲和撞庫問題，每天識別惡意爬取行為超過1億次，撞庫IP超過1萬個。借助地理信息，成功識別競爭對手來源，同時幫助該平臺排除了低頻爬蟲隱患，每月幫助企業避免數據損失超過500萬。
 

ATD數據分析架構圖

   
由于ATD特殊的軟件架構，其除了適用于招聘平臺外，在游戲、航空、金融、醫療、電商、家電、教育、出版業等領域相關場景下同樣得到了廣泛應用。