Web指紋識別的介紹與編寫

作者：數字觀星技術組 2019-11-23 15:45:38

網絡上開源的Web指紋識別程序很多，如Wappalyzer，Whatweb, wpscan, joomscan等等，在線指紋平臺有云悉，還有我們本文重點介紹的數字觀星指紋平臺等。接下來會介紹如何編寫以及編譯指紋并提交到平臺上。

一、前言

Web指紋是Web服務組件在開發時留下的對其類型及版本進行標識的特殊信息，包括Web服務器指紋、Web運用指紋以及前端框架指紋等。在Web安全測試過程中，收集Web指紋信息也是一個比較重要的步驟;在安全運營過程中，通過指紋識別識別資產的Web信息，這樣能更加了解整個資產存在哪些方面的威脅，然后對癥檢測修補。

網絡上開源的Web指紋識別程序很多，如Wappalyzer，Whatweb, wpscan, joomscan等等，在線指紋平臺有云悉，還有我們本文重點介紹的數字觀星指紋平臺

(https://fp.shuziguanxing.com/#/)等。接下來會介紹如何編寫以及編譯指紋并提交到平臺上。

?[[283374]]?

二、初見

實踐是認識事物最快的途徑，這里先使用常見的指紋識別工具做簡單的指紋識別示范。

1. Whatweb

Whatweb是一個基于Ruby語言的開源網站指紋識別軟件，正如它的名字一樣，Whatweb能夠識別各種關于網站的詳細信息包括：CMS類型、博客平臺、中間件、Web框架模塊、網站服務器、腳本類型、JavaScript庫、IP、Cookie等。

在kali下sudo apt install whatweb ：

對網站進行指紋識別：

2. Wappalyzer

Wappalyzer是基于正則表達式來識別Web應用，它的功能是識別單個url的指紋，其原理就是給指定URI發送HTTP請求，獲取響應頭與響應體并按指紋規則進行匹配。它也是一款瀏覽器插件，能識別出網站采用了那種Web技術，能夠檢測出CMS和電子商務系統、留言板、Javascript框架，主機面板，分析統計工具和其它的一些Web系統。這里主要介紹基于node.js的Wappalyer的安裝與使用。

(1)node.js環境的安裝，官網下載地址https://nodejs.org/en/

(2)通過Node.js安裝Wappalyzer

記住這個路徑 C:\Users\xx\AppData\Roaming\npm\node_modules\wappalyzer之后講解調試指紋有用

(3)使用wappalyzer指紋識別

三、探究

這里主要探討如何編寫基于Wappalyzer的指紋(參考https://fp.shuziguanxing.com/#/fingerplatinfo)

1. 指紋識別的幾種方式

網頁中發現關鍵字
特定文件的MD5(主要是靜態文件、不一定要是MD5)
指定URL的關鍵字
指定URL的TAG模式

2. 指紋識別分類

基于Wappalyzer的指紋識別分類

3. 指紋規則

4. 指紋識別例子講解

"Struts": {
"cats": [
"18"
],
"html":"(href|action|src).*?=.*?(action|do)\\;confidence:50",
"url": "/.*\\.do$|/.*\\.action$\\;confidence:40",
"html": "Struts Problem Report",
"website": "http://struts.apache.org/",
"_fingerprint_note":"Apache Struts是一個用于開發Java EE網絡應用程序的開放源代碼網頁應用程序架構。",
"_fingerprint_test_url":"https://www.shuziguanxing.com/"
}

描述：struts組件，分類18(Web框架)，匹配html中是否存在action,do后綴，定義可信值50，匹配url中是否有do和action后綴，定義可信值40，匹配html中是否存在“Struts Problem Report”字符串，默認不定義可信值則為100。備注：總體可信值如果超過100，也只會返回100。

5. 簡單分析Wappalyzer的執行過程

Wappalyze執行文件在C:\Users\xx\AppData\Roaming\npm\下。

Wappalyzer的包目錄在C:\Users\xx\AppData\Roaming\npm\node_modules\wappalyzer。

這里我們重點看apps.json文件，apps.json文件是個什么東西呢?apps.json記錄的是整個的指紋規則，之后我們自己編寫的指紋就是要放進這里調試。

看下里面是一個怎么樣的構造：

{
"$schema":"../schema.json",
"apps":{
"1C-Bitrix":{
"cats":[
1
],
"headers":{
"Set-Cookie":"BITRIX_",
"X-Powered-CMS":"Bitrix Site Manager"
},
"html":"(?:<link[^>]+components/bitrix|(?:src|href)=\"/bitrix/(?:js|templates))",
"icon":"1C-Bitrix.png",
"implies":"PHP",
"script":"1c-bitrix",
"website":"http://www.1c-bitrix.ru"
},
},
"categories":{
"1":{
"name":"CMS",
"priority":1
},
......
}
}