超越黑名單，運用機器學習檢測惡意URL——Blackhat Asia上的“防守”之音
3月28-31日，一年一度的Blackhat Asia(亞洲黑帽大會)如期在新加坡海灣金沙酒店舉行。山石網科美國研發團隊的論文“超越黑名單，運用機器學習檢測惡意URL”(“Beyond The Blacklists: Detecting Malicious URLS Through Machine Learning”)受到了會議專家組的青睞，山石網科受邀在會上發表相關主題演講。
創立于1997年的Black Hat是安全領域的頂級峰會，逾19年來向與會者提供信息安全研究、發展和趨勢方面的最新信息。
對于從全世界蜂擁到新加坡的近萬名黑客技術的信徒來說，講臺上的大牛，不僅框定了本年度世界黑客的研究潮流，也噴薄著挑戰未知、突破一切的黑客精神。登上這個舞臺，向世界分享自己的研究成果，對于大多數黑客大牛來說，也有如站在奧運會的領獎臺上，散發著非同尋常的意義。
此次峰會共有33篇論文入選，其中有3篇來自中國的網絡安全廠商，山石網科以高超的研發技術水準在眾廠商中脫穎而出，在這個人人探討如何攻擊的黑帽大會，以如何“防守”的主題成為了整場會議的獨特亮點，將來自中國的安全研發思路輸出給全世界的頂級黑客們。
下面為大家分享這篇論文的主旨內容：
許多類型的現代malwares使用基于http的通信。與傳統的AV簽名, 或系統級的行為模型相比，網絡級行為簽名/建模在惡意軟件檢測方面有一定的優勢。在這里，我們提出一個新穎的基于URL的惡意軟件檢測方法行為建模。該方法利用實踐中常見的惡意軟件代碼重用的現象。基于大數據內已知的惡意軟件樣本，我們可以提煉出簡潔的功能模型，代表許多不同的惡意軟件中常用的相似性連接行為。這個模型可以用于檢測有著共同的網絡特征的未知惡意軟件變種。
我們專注于http連接，因為這個協議是最主要的惡意軟件連接類型，用僵尸控制網絡連接，得到更新和接收命令后開始攻擊。檢查在http連接層次的特征已被證明是一種來檢測惡意連接的有效方式。
在我們的下一代防火墻設備中，我們有算法使用靜態黑名單和特征簽名來檢查連接域名，URL路徑和用戶代理以確定是否惡意。結合域生成算法(DGA)檢測的機器學習算法，我們取得很好的惡意URL檢出率。然而，最復雜和富有挑戰性的部分是查詢URL字符串連接的動態內容。因為這些字符串非常多樣化，幾乎可以是任何東西，導致靜態簽名規則變得不那么有效。參數的變種和進化使簽名生成費時。它還需要簽名庫為新連接特性執行頻繁的更新。
我們這個演講談到的新穎的聚類算法是非常高效的，這個算法不僅可以檢測已知的惡意URL，并且也能檢測到從未暴露(0-day)的新變種。這個模型可以對于來自全球的每周1萬條惡意軟件樣本庫和8萬URL地址庫進行機器學習。
