[[418573]]

有些同學(xué)在寫爬蟲的時(shí)候，覺得只要自己每次請(qǐng)求都使用不同的代理 IP，每次請(qǐng)求的 Headers 都寫得跟瀏覽器的一模一樣，就不會(huì)被網(wǎng)站發(fā)現(xiàn)。

但實(shí)際上，還有一個(gè)東西，叫做瀏覽器指紋，它是不會(huì)隨著你更換 IP 或者 User-Agent 而改變的。而且即使你不使用模擬瀏覽器，你直接使用 Golang、使用 Python，它們也有自己各自的指紋，并且他們的指紋每次請(qǐng)求也是固定的。只要網(wǎng)站發(fā)現(xiàn)某個(gè)擁有特定指紋的客戶端持續(xù)高頻率請(qǐng)求網(wǎng)站，它就可以把你封掉。

你似乎不相信?那我證明給你看。

現(xiàn)在，我準(zhǔn)備一個(gè)隧道代理，如下圖所示：

然后，我們打開一個(gè)網(wǎng)站：https://ja3er.com/json . 當(dāng)你用電腦瀏覽器打開它的時(shí)候，它是這樣的：

不論你怎么刷新網(wǎng)頁，這上面的字符串都是不會(huì)變的。

現(xiàn)在，我使用 Python 去請(qǐng)求這個(gè)頁面，看到的內(nèi)容如下圖所示：

可以看到，雖然我使用了隧道代理，每次請(qǐng)求的 IP 都是不一樣的，但是這個(gè)網(wǎng)站返回的內(nèi)容始終是一樣的。所以如果這不是一個(gè)測(cè)試網(wǎng)站，而是一個(gè)加了這個(gè)檢測(cè)機(jī)制的網(wǎng)站，那么它輕松就能把我給屏蔽了。

這個(gè)檢測(cè)算法，叫做JA3算法。這個(gè)算法在官網(wǎng)上面的介紹信息如下：

The JA3 algorithm takes a collection of settings from the SSL “Client Hello” such as SSL/TLS version, accepted cipher suites, list of extensions, accepted elliptic curves, and elliptic curve formats.

JA3算法收集了 SSL 請(qǐng)求里面的信息，包括但不限于 SSL/TLS 版本，Cipher Suites數(shù)量，瀏覽器擴(kuò)展列表，elliptic curves等等。通過這一系列參數(shù)綜合起來生成一個(gè)指紋字符串。也許這些參數(shù)里面，你跟一些人的 Cipher Suites 數(shù)量相同，你跟另外一些人的瀏覽器擴(kuò)展數(shù)相同，你又跟另外一些人的 TLS版本號(hào)相同……但是所有這些參數(shù)全部相同的人，就非常少了。而在這非常少的人里面，這些人還同時(shí)訪問同一個(gè)網(wǎng)站的可能性就更小了。所以，網(wǎng)站用 JA3算法，可以近似認(rèn)為，在一段時(shí)間內(nèi)，指紋字符串相同的連續(xù)請(qǐng)求，有極大概率是來自同一個(gè)人。

JA3算法的三個(gè)作者之一John Althouse寫了一篇文章來介紹瀏覽器指紋和 JA3算法：TLS Fingerprinting with JA3 and JA3S | by John Althouse | Salesforce Engineering[1] 。有興趣的同學(xué)可以看一看。

但我們說，魔高一尺，道高一丈。JA3算法是不是真的無懈可擊呢?其實(shí)也不是，仍然有辦法繞過去的。請(qǐng)大家期待我后面的文章。

P.S.: 給大家科普一個(gè)小知識(shí)，日常生活中，我們常常聽一些人說，道高一尺，魔高一丈，又聽另一些人說，魔高一尺，道高一丈。那么這兩句到底哪一句是對(duì)的，什么情況下應(yīng)該用哪一句呢?

其實(shí)，以道高一尺，魔高一丈為例，它的意思是，道非常厲害，道往上漲一尺所產(chǎn)生的力量，魔需要往上漲一丈才能抵消。通俗的講，就是巨人走一步，普通人要走十步才能追的上。

同理，魔高一尺，道高一丈的意思是魔非常厲害，魔往上漲一尺所產(chǎn)生的力量，道需要往上漲一丈才能抵消。

但我們?nèi)粘Ｉ钪校芏嗳艘詾椋Ц咭怀撸栏咭徽傻囊馑际钦f，魔長(zhǎng)高一尺的時(shí)間，道已經(jīng)長(zhǎng)高了一丈，所以魔永遠(yuǎn)追不上道。這種理解是錯(cuò)誤的，這些人剛好把意思搞反。

參考資料

[1]TLS Fingerprinting with JA3 and JA3S | by John Althouse | Salesforce Engineering:https://engineering.salesforce.com/tls-fingerprinting-with-ja3-and-ja3s-247362855967

本文轉(zhuǎn)載自微信公眾號(hào)「未聞Code」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系未聞Code公眾號(hào)。