Cloudera美國首席技術官 Carolyn Duby

　　如今，網絡安全團隊在保護企業安全時正面臨一系列空前的挑戰。身份盜竊資源中心(Identity Theft Resource Center，ITRC)的《年度數據泄露報告》顯示，2023年共發生了2365起網絡攻擊，受害者超過3億人，數據泄露事件數量自2021年以來增加了72%。根據《2024年上半年數據泄露風險態勢報告》統計，中國2024年上半年全網監測并分析驗證有效的數據泄露事件超1萬6千起。

　　持續不斷且日益復雜的網絡攻擊讓許多專業人員感到力不從心。應對這種現狀，網絡安全團隊必須采用AI和自動化技術，以更主動、高效的方式抵御入侵。

　　然而，成功應對這些威脅面臨一個根本性難題：數據。本文介紹了網絡安全團隊在使用數據、分析和AI開展工作時所面臨的問題，Cloudera開放式數據湖倉一體架構如何解決這些問題，以及該架構對于應對現代網絡安全環境的復雜性有何關鍵作用。

　　Cloudera開放式數據湖倉一體架構助力企業解決網絡數據帶來的挑戰

　　對于網絡安全團隊來說，數據既是最大的財富，也是最大的挑戰。所以，網絡安全團隊面對的問題不僅在于數據量龐大，更在于如何有效地管理與解讀。當前，網絡安全團隊面臨的難題包括：

　　●    數據過載：網絡安全工具會產生大量日志數據，包括域名服務(DNS)記錄、防火墻日志等。雖然這些數據對于調查和威脅狩獵(Threat Hunting)至關重要，但現有系統往往難以高效管理這些數據。錄入數據的速度往往過慢并且可能成本過高，從而導致響應延遲和錯失良機。

　　●    工具泛濫：一個企業部署的網絡防御工具平均達到40多種。雖然每種工具都有自己的用途，但分析人員往往要同時使用多個界面，導致他們的調查工作變得分散。由于需要在不同工具之間手動切換，工作速度會有所減慢，這也導致分析人員只能依靠最原始的方法追蹤他們的發現。

　　●    非結構化數據無法用于分析：即便網絡安全團隊最終收集到日志數據，其格式也通常無法直接用于分析。網絡日志通常是非結構化或半結構化的數據，因此很難從中提煉出有價值的洞察。最終可能會導致分析人員為了規范、解析和準備用于調查的數據，浪費大量寶貴時間和資源。

　　Cloudera開放式數據湖倉一體架構提供了解決這些難題的辦法。通過結合數據湖存儲的靈活性和擴展能力與數據倉庫的功能，開放式數據湖倉一體架構統一并簡化了網絡日志數據的管理。通過打破數據孤島，Cloudera實現了多源日志數據的整合，幫助網絡安全團隊進行利用實時分析快速響應威脅。Cloudera的解決方案如下：

　　●    統一系統：Cloudera開放式數據湖倉一體架構將所有關鍵日志數據整合到一個系統中。通過使用專為海量數據進行高性能分析而設計的開放表格Apache Iceberg，網絡安全團隊能夠訪問所有數據并以更快的速度和更高的效率展開調查。無論他們查詢的數據是現在的還是過去的，系統都能根據需求擴大或縮小規模。

　　●    針對分析進行優化：Iceberg表專為實現更快速、高效的分析而設計。憑借靈活的模式和分區，Iceberg表可將數據處理規模擴展到PB級，同時通過壓縮日志節省存儲成本。該方法以元數據為依據，能夠進行快速查詢規劃，幫助網絡安全團隊在需要快速得到答案時加快獲取過程。

　　●    數據安全和治理：Cloudera共享數據體驗(Shared Data Experience, SDX)將安全和治理內置到每個步驟中。網絡日志通常包含有關用戶、網絡和調查的敏感數據，因此在確保授權團隊能夠安全訪問和共享這些信息的同時，必須對這些信息予以保護。

　　●    實時洞察數據傳輸管道：開放式數據湖倉一體架構為分析提供了基礎，而Cloudera的數據管道功能將原始、非結構化的網絡日志轉化為經過優化的Iceberg表。通過使用Cloudera Data Flow和Cloudera Stream Processing，團隊可以實時過濾、解析、規范和擴充日志數據，確保網絡安全團隊擁有用于高級分析的潔凈、結構化數據。

　　●    無縫集成：Cloudera開放式數據湖倉一體架構與多種工具集成，從而讓調查人員、網絡安全分析師和數據科學家能夠使用他們常用的工具開展工作。無論是Cloudera Data Visualization中的拖放界面，還是先進的異常檢測機器學習模型都為數據管理帶來了更多可能。此外，憑借Iceberg的互通性和開放標準，客戶可以為每項工作選擇合適的工具。

　　通過Iceberg實現實時威脅檢測

　　網絡日志數據的體量龐大且持續變化。在一部分舊系統中，查詢規劃和實際執行所花費的時間可能一樣長。Iceberg通過存儲所有表元數據(包括分區和文件位置)提高查詢規劃的效率，進而便利查詢引擎的使用。即使面對龐大且動態變化的表，系統仍能保持可管理性，幫助網絡安全團隊執行實時威脅檢測，同時不被低效的查詢規劃流程拖累，實現更快速、高效的威脅檢測和調查工作流程。

　　此外，用于檢測和應對威脅的系統和流程也需要跟隨威脅演變。通過Iceberg，團隊無需重寫表就能即時修改模式、分區和擴充流程。使用Iceberg快照進行版本控制即可輕松重現表的先前狀態，因此，網絡安全團隊無需管理和維護多個數據副本，即可隨時訪問歷史上下文。

　　未來趨勢：AI驅動的網絡防御

　　在AI驅動網絡安全的未來趨勢下，Cloudera幫助網絡安全團隊提前做好相應準備。通過SQL AI Assistant等內置生成式AI工具，分析師可以快速編寫SQL查詢以提煉出所需答案。從自動執行例行任務到構建用于事件摘要的聊天機器人，Cloudera的AI功能在提高網絡防御效率的同時，保證了數據的安全可控。

　　通過在可擴展、安全和分析就緒的環境中整合網絡數據，Cloudera開放式數據湖倉一體架構讓網絡安全團隊在應對網絡威脅時處于領先地位。憑借與眾多工具和執行引擎的無縫集成、靈活且經濟的存儲以及內置的AI功能，Cloudera助力網絡安全團隊通過實時和預測性洞察緊跟網絡威脅的步伐，為企業保駕護航。